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Voorwoord 



Voor u ligt de rapportage van de Nederlands-Vlaamse 
Accreditatieorganisatie (NVAO) over de werking van 
het nieuwe accreditatiestelsel dat in 201 1 in Nederland is 
ingevoerd. Deze rapportage is gebaseerd op een aantal onder- 
zoeken die de NVAO heeft verricht, op de eigen ervaringen van 
de NVAO met de werking van het nieuwe stelsel in Nederland, 
en in het bijzonder met haar eigen rol daarin. Naast de 
NVAO heeft onlangs de Inspectie van het Onderwijs het 
Nederlandse stelsel geëvalueerd; ook van de Nederlandse 
Algemene Rekenkamer en het Belgische Rekenhof is een 
gezamenlijke rapportage hierover binnenkort beschikbaar. 
De NVAO kon bij het schrijven van de eigen evaluatie al gebruik 
maken van een concept van dit laatstgenoemde rapport. 

Deze evaluaties zijn onder meer voortgekomen uit de toe- 
zegging van de toenmalige minister van Onderwijs, Cultuur en 
Wetenschap (OCW) aan de Tweede Kamer bij gelegenheid van 
de behandeling van de wetgeving met betrekking tot het 
nieuwe stelsel om in 201 3 een evaluatie van de voorgestelde 
maatregelen te presenteren. De evaluaties en onderzoeken 
betreffen dan ook in de eerste plaats het Nederlandse stelsel; 
alleen de rapportage van Rekenkamer en Rekenhof ziet ook 
expliciet op Vlaanderen. 

De verschillende evaluaties leiden in algemene zin alle tot de 
conclusie dat het accreditatiestelsel in het hoger onderwijs in 
Nederland op brede steun mag rekenen en goed werkt. Ze 
bevatten ook een aantal belangrijke aanbevelingen om te 
komen tot een verdere verbetering van de kwaliteitsbewaking 
en -borging, en tot een verdere stimulering van een cultuur 
die zich richt op voortdurende kwaliteitsverbetering. 

De NVAO ziet als haar voornaamste twee taken het beoor- 
delen en borgen van de kwaliteit van het hoger onderwijs en 
het stimuleren van de verbeterfunctie van de kwaliteit van 
het hoger onderwijs en daarmee van het accreditatiestelsel. 
De voorliggende rapportage evalueert deze taken binnen het 
Nederlandse accreditatiestelsel. De NVAO echter is een 
binationale organisatie en de samenwerking tussen Neder- 
land en Vlaanderen heeft een grote meerwaarde. 

In 2012 heeft de NVAO haar strategie voor de jaren 2012- 
201 6 geformuleerd; binnenkort verschijnt een actualisatie 
daarvan onder de werktitel 'Strategie 2.0'. De NVAO streeft er 
naar in het hoger onderwijs een cultuur gericht op blijvende 
kwaliteitsontwikkeling te bevorderen. De conclusies en 
aanbevelingen in deze evaluatie sluiten daar op aan en 



zullen voor zover van toepassing uiteraard worden vertaald 
in de geactualiseerde NVAO strategie en daarmee in haar 
werkzaamheden de komende jaren. 

Hoogwaardig hoger onderwijs is in de 21 e eeuw onmisbaar, 
zeker voor landen die hun welvaart vooral aan een kennis- 
intensieve economie willen ontlenen. De voorliggende evaluatie 
en de daaraan verbonden conclusies en aanbevelingen bieden 
de wetgever, de minister van Onderwijs, Cultuur en Wetenschap, 
de bij de accreditatieprocedures betrokken instellingen, 
opleidingen en organisaties in het Nederlandse hoger onderwijs 
en de NVAO zelf een aantal belangrijke en zinvolle handreikingen 
om dat belang verder veilig te stellen. 

Dr. A.H. Flierman 
voorzitter 
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Samenvattin 




In 201 1 is in Nederland een nieuw accreditatiestelsel 
geïntroduceerd. Een breed scala aan onderzoeken naar het 
functioneren van het eerste accreditatiestelsel vormde de 
basis voor de aanpassingen aan het stelsel. Bij het ontwerp 
van het nieuwe stelsel formuleerde de wetgever zes uitgangs- 
punten: 

1. Externe onafhankelijke beoordeling van de kwaliteit van 
het onderwijs is noodzakelijk. 

2. Het nieuwe stelsel is internationaal geaccepteerd. 

3. Accreditatie heeft meer focus op kwaliteit. 

4. De instellingen en opleidingen worden gestimuleerd om de 
kwaliteitscultuur te bevorderen. 

5. Kwaliteitszorg dient 'op maat' te worden uitgevoerd. 

6. De administratieve lasten worden verminderd. 

In het nieuwe accreditatiestelsel zijn inmiddels ongeveer 400 
opleidingsbeoordelingen en 1 30 toetsen nieuwe opleiding 
uitgevoerd. Daarnaast heeft de NVAO bij meer dan 20 instel- 
lingen de instellingstoets kwaliteitszorg afgenomen. De instel- 
lingen, opleidingen en de NVAO zelf hebben dus inmiddels de 
nodige ervaring met de verschillende toetsen van het nieuwe 
stelsel. Anderzijds is het stelsel nog relatief jong: ruim twee 
jaar. Daardoor kan de impact van de vernieuwingen nog niet 
definitief worden vastgesteld. 

De NVAO heeft de hierboven genoemde zes uitgangspunten 
als basis genomen voor haar onderzoek en de evaluatie van 
het nieuwe stelsel. De NVAO komt in dit rapport tot de 
conclusie dat de uitgangspunten van het nieuwe stelsel 
grotendeels worden gerealiseerd, maar zij stelt ook vast dat 
bijvoorbeeld de administratieve lasten nog niet zijn afge- 
nomen. De NVAO doet in dit rapport tevens aanbevelingen die 
het nieuwe accreditatiestelsel kunnen versterken en de lasten 
kunnen verminderen. Deze aanbevelingen hangen ook samen 
met de actualisering van de strategie van de NVAO die in het 
najaar van 201 3 zal worden gepresenteerd. 

Conclusies NVAO 

Het nieuwe stelsel functioneert naar het oordeel van de NVAO 
op hoofdlijnen goed, maar er zijn zeker nog betekenisvolle 
verbeteringen mogelijk. Zo constateert de NVAO dat een 
verdere flexibilisering van het instrumentarium voor de hand 
ligt. De termijnen die horen bij een herstelperiode of beoorde- 
ling onder voorwaarden zijn op grond van de huidige wet- en 
regelgeving soms structureel te kort. De procedure rond de 
intrekking van een accreditatiebeslissing is ook gecompli- 
ceerd. De NVAO kan zelfstandig accreditaties verlenen, maar 
is afhankelijk van ministeriële toestemming indien ze onder- 
zoek moet doen naar een opleiding waarvan de kwaliteit aan 



twijfel onderhevig is. Ook de bestaande praktijk rond de 
bestuurlijke afspraak laat zien dat er behoefte is aan een 
meer verfijnd en gedifferentieerd instrumentarium. Daarnaast 
is duidelijk dat de toegankelijkheid van de besluiten en de 
visitatierapporten op de website van de NVAO beter kan en 
dat de NVAO de doorlooptijd van een aanvraag verder kan 
bekorten, bijvoorbeeld door een betere spreiding van de 
accreditatieaanvragen. Het open spreekuur bij visitaties 
verdient een bredere bekendheid, zo laat het onderzoek onder 
docenten zien. 

Met het invoeren van de verplichting om clustergewijs te 
visiteren, ontstaan ook extra mogelijkheden om de betrouw- 
baarheid en consistentie van de oordelen verder te verbeteren 
door de vorming van consensus onder beoordelaars en het 
vergroten van de vergelijkbaarheid, zeker daar waar het 
cluster door hetzelfde (deel)panel beoordeeld wordt. 
Om de clustering vorm te geven, zijn wel aanpassingen van de 
accreditatietermijnen nodig. Deze aanpassingen kunnen ook 
benut worden voor een betere spreiding van de workload voor 
de instellingen en de NVAO. 

Door te werken met een beperktere groep voorzitters is 
het mogelijk een verplichte training voor de voorzitters van 
visitatiepanels in te voeren. 

Accreditatie moet de ontwikkeling van nieuw en uitdagend 
onderwijs niet in de weg staan, maar juist stimuleren. De NVAO 
wil met het huidige stelsel de ontwikkeling van een kwaliteits- 
cultuur binnen instellingen bevorderen. Dit betekent ook dat 
de NVAO moet blijven reflecteren op het stelsel van kwaliteits- 
zorg, ook in het licht van nieuwe, internationale ontwikkelingen 
in het hoger onderwijs, zoals de MOOCs, nieuwe vormen van 
leren en onderwijzen (onderwijsinnovatie) en aandacht voor 
thema's zoals duurzaamheid en ondernemerschap. 

Reflectie op de doelstellingen 

Onafhankelijke beoordeling 

Onafhankelijke en externe beoordeling van de kwaliteit van 
het hoger onderwijs is het fundament van het accreditatie- 
stelsel. Het vertrouwen van de samenleving in de kwaliteit van 
het onderwijs is mede gebaseerd op het feit dat onafhanke- 
lijke deskundigen, de peers, regelmatig de inhoud en uitkom- 
sten van ons hoger onderwijs beoordelen. Deze peer review 
wordt niet alleen in Nederland en Vlaanderen, maar ook in de 
rest van Europa en daarbuiten gezien als het meest effectieve 
instrument om de kwaliteit van het hoger onderwijs te borgen 
en te verbeteren. De NVAO onderschrijft het belang van peer 
review in de beoordeling van de kwaliteit van een opleiding of 
instelling. De NVAO stelt specifieke eisen aan de samenstel- 
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iing van de commissies van peers; deze dienen niet alleen te 
bestaan uit vakdeskundigen, maar ook uit deskundigen op het 
gebied van onderwijs, toetsing, kwaliteitszorg, auditdeskun- 
digheid en het betreffende werkveld. Daarnaast maakt ook 
altijd een student deel uit van een dergelijke commissie. 
In de auditcommissies die de instellingstoets kwaliteitszorg 
uitvoeren, moeten daarnaast ook deskundigen zitten die erva- 
ring hebben met het besturen van instellingen voor hoger 
onderwijs. Hierdoor worden bij iedere beoordeling meerdere 
facetten (perspectieven) van kwaliteit meegenomen in de 
beoordeling, in dit opzicht is de beoordeling van de kwaliteit 
van het onderwijs in het accreditatiestelsel dus breder dan bij 
de klassieke peer review. Deze inclusieve en brede benadering 
van peer review bij de beoordeling van de kwaliteit van het 
hoger onderwijs heeft internationaal een breed draagvlak. 

De consistentie van de beoordeling in een systeem van peer 
review kan worden versterkt door gebruik te maken van 
gestandaardiseerde en uniforme gegevens. De NVAO heeft in 
201 2 standaarddefinities voor kengetallen opgesteld die 
moeten worden gebruikt bij de visitatie van opleidingen. De 
beoordelingskaders geven immers geen duidelijke definities 
van deze indicatoren. Na overleg met de koepelorganisaties 
heeft de NVAO nieuwe indicatoren en definities vastgesteld 
die sinds 1 oktober 201 2 worden gebruikt bij de beoordelingen 
van de kwaliteit van opleidingen. De NVAO vraagt opleidingen 
nu bij een accreditatieaanvraag gegevens te leveren over een 
aantal indicatoren zoals uitval, rendement, docentkwaliteit, 
student-docentratio en contacttijd. 

De onafhankelijkheid van de beoordeling mag niet ter 
discussie staan. Een belangrijk uitgangspunt bij de invoering 
van het nieuwe stelsel was dat de onafhankelijke toetsing van 
de kwaliteit van het onderwijs ook door docenten ervaren 
moet worden als een zinvolle bijdrage aan de verbetering van 
de kwaliteit van het onderwijs. De beoordeling moet niet 
alleen onafhankelijk, maar ook gezaghebbend worden uitge- 
voerd. Om dit doel te bereiken, kregen instellingen het recht 
zelf een voorstel voor een visitatiepanel te doen, bestaande uit 
gezaghebbende, deskundige en onafhankelijke peers. De 
NVAO heeft in het nieuwe stelsel de opdracht gekregen deze 
panels voorafgaande aan de visitatie te onderzoeken en (goed) 
te keuren op deze aspecten. 

In opdracht van de NVAO is ResearchNed via een enquête 
onder docenten in het hoger onderwijs nagegaan wat de 
eerste ervaringen zijn in het Nederlandse hoger onderwijs met 
de beperkte opleidingsbeoordeling (BOB). De kwaliteit en 
onafhankelijkheid van de commissies staat volgens de onder- 



vraagde docenten buiten kijf. De herkenbaarheid, de bruik- 
baarheid en het kritisch karakter van de rapporten van de 
visitatiecommissies wordt door het overgrote merendeel van 
de ondervraagde docenten als (zeer) goed beoordeeld. 

Een belangrijke bevinding acht de NVAO de gevonden 
verschillen in de beoordeling tussen evaluatiebureaus die in 
opdracht van instellingen de visitaties organiseren. De NVAO 
constateert echter tegelijkertijd dat uit het onderzoek naar de 
onderbouwing van de oordelen van de betreffende visitatie- 
rapporten blijkt dat er juist géén verschillen zijn gevonden 
tussen de verschillende bureaus als het gaat om de onder- 
bouwing van de gegeven oordelen. De NVAO onderschrijft de 
gegeven oordelen, onafhankelijk van het evaluatiebureau. 
Dit zou erop kunnen duiden dat de gevonden verschillen toe te 
schrijven zijn aan daadwerkelijke kwaliteitsverschillen tussen 
opleidingen en sectoren. De NVAO gaat met name de 
verschillen tussen de diverse domeinen naderonderzoeken. 

De NVAO vindt vorming van consensus onder beoordelaars de 
meest geëigende route om tot betrouwbare oordelen te 
komen. Een belangrijke rol is in dit opzicht weggelegd voor de 
visitatiepanels. Een onderzoek van de NVAO naar de samen- 
stelling van de panels en de evaluatie van de Inspectie van het 
Onderwijs leiden tot de conclusie dat de onafhankelijkheid en 
deskundigheid van de panels goed is. 

In 2012 werd de NVAO onderzocht door een panel van Euro- 
pese deskundigen van de European Association for Quality 
Assurance in Higher Education (ENQA). Dit panel had als 
opdracht te onderzoeken of de NVAO voldoet aan Europese 
regels en normen; de European Standards and Guidelines for 
Quality Assurance in the European Higher Education Area 
(ESG). 

Internationaal geaccepteerd 

Als binationale instelling vormt de NVAO een internationaal 
voorbeeld op het gebied van beoordeling en kwaliteitszorg en 
ziet in de samenwerking tussen Nederland en Vlaanderen een 
grote meerwaarde: Nederland en Vlaanderen leren van 
eikaars ervaringen, het binationale karakter van de NVAO 
heeft in Europees perspectief een voorbeeldfunctie en de 
samenwerking levert een groter reservoir aan onafhankelijke 
deskundigen op. De Europese Commissie heeft in haar 
Progress Report (2009) over kwaliteitszorg dit als voorbeeld 
erkend. De internationale erkenning van het stelsel blijkt 
onder meer uit het feit dat in december 2008 de NVAO als een 
van de eerste Europese kwaliteitszorgorganisaties werd opge- 
nomen in het onafhankelijke Europese register van kwaliteits- 
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agentschappen, het European Quality Assurance Register for 
Higher Education (EQAR). Opname in het EQAR-register toont 
aan dat de NVAO instaat voor het toepassen van de Europese 
principes en uitgangspunten om de kwaliteit van het hoger 
onderwijs te verzekeren en dat het Nederlandse en het 
Vlaamse stelsel als geheel aan Europese eisen voldoet. Met 
het register wil EQAR de transparantie op het gebied van 
kwaliteitszorg in Europa vergroten en de ontwikkeling van de 
Europese hogeronderwijsruimte bevorderen. Studenten, 
instellingen voor hoger onderwijs en andere geïnteresseerden 
kunnen via het register nagaan welke organisaties voldoen 
aan de geldende eisen. 

Op 5 december 201 2 is de registratie van de NVAO vernieuwd. 
EQAR heeft de opname van de NVAO in het register gecontinu- 
eerd, omdat ook het nieuwe stelsel voldoet aan de European 
Standards and Guidelines van ENQA. Dit bleek onder meer 
na een positieve beoordeling door de onafhankelijke inter- 
nationale visitatiecommissie die de NVAO in 201 2 heeft 
bezocht in het kader van de vijfjaarlijkse externe review 
van de organisatie. Ook het nieuwe stelsel is dus erkend op 
Europees niveau. 

Nederland en Vlaanderen hebben daarnaast op 1 6 januari 
201 3 de wederzijdse diploma-erkenning bereikt: beide minis- 
ters hebben een aanpassing van het verdrag ondertekend. 
De wijziging van het verdrag tussen het Koninkrijk der 
Nederlanden en de Vlaamse Gemeenschap van België inzake 
de accreditatie van opleidingen binnen het Nederlandse en 
Vlaamse hoger onderwijs regelt nu ook de academische 
wederzijdse gelijkstelling van bachelor- en masteroplei- 
dingen. Deze wederzijdse erkenning is uniek in Europa. 

Focus op kwaliteit 

Het onderzoek onder docenten in het hoger onderwijs wijst 
uit dat de nieuwe manier van beoordelen in de beperkte 
opleidingsbeoordeling meer op de kwaliteit van het onderwijs 
is gericht dan vroeger. Wel vinden docenten dat er meer 
aandacht mag komen voor verbetering van het onderwijs en 
dat 'gerealiseerde eindkwalificaties' nog meer aandacht 
mogen krijgen. 

De nieuwe gedifferentieerde kwaliteitsoordelen worden 
gebruikt om kwaliteitsverschillen onder de aandacht van een 
breder publiek te brengen. Goede studievoorlichting, waarin 
ook kwaliteitsverschillen zichtbaar zijn, bevordert dat 
studenten en werkgevers hun keuzes meer laten leiden door 
kwaliteit; dat daagt instellingen uit om zich in te zetten voor 
kwaliteitsverbetering. De NVAO publiceert op haar website 



overzichten, met naam en toenaam, van de beoordelingen. 
Ook levert zij haar besluiten aan voor vergelijkingsgidsen 
als de Keuzegids en en de website Studiekeuzei 23. In het 
nieuwe stelsel leveren de commissies zelf een samenvatting 
van de beoordeling aan waarmee de inzichtelijkheid in en de 
kwaliteit van de besluiten is verbeterd. ENQA waardeert dit 
initiatief en de vergroting van de leesbaarheid van besluiten 
die dit met zich mee heeft gebracht. De NVAO ziet erop toe 
de kwaliteit van deze samenvattingen nog te verbeteren, 
onder andere door middel van de jaarlijkse opleidingen van 
secretarissen. De toegankelijkheid van de besluiten van 
de NVAO op de eigen website dient eveneens te worden 
verbeterd. Zowel de inspectie als de commissie van ENQA 
was kritisch over de toegankelijkheid van de database. 
De NVAO ziet zelfde nodige mogelijkheden om de toeganke- 
lijkheid verder te vergroten. 

De NVAO constateert echter ook dat de mogelijkheid om tot 
gedifferentieerde kwaliteitsoordelen te komen nog niet direct 
heeft geleid tot meer profilering op dit gebied. Uit de analyse 
in hoofdstuk 3 van de scores die visitatiepanels toekennen, 
blijkt dat de spreiding van de oordelen beperkt is. Daarnaast 
blijkt dat de beoordeling van opleidingen in clusters of visita- 
tiegroepen binnen een domein leidt tot consistente oordelen, 
maar dat er tussen verschillende domeinen wel verschillen te 
zien zijn in de manier waarop panels beoordelen. 

Kwaliteitscultuur 

De NVAO constateert in dit rapport dat de visitatie 'nieuwe 
stijl' meer bijdraagt aan de onderwijskwaliteit. Bijna de helft 
van de ondervraagde docenten (46 procent) vindt dat de 
nieuwe visitatie meer gericht is op de inhoud van het onder- 
wijs. De conclusies uit het onderzoek van ResearchNed zijn 
dan ook positief te noemen. De ondervraagde docenten 
beschouwen de beperkte opleidingsbeoordeling (BOB) als 
stimulerend en niet bedreigend en zij beschouwen deze ook 
als een verbetering ten opzichte van de oude werkwijze. Een 
ruime meerderheid van de docenten (67 procent) vindt de 
inhoud van het eindrapport (zeer) goed herkenbaar, 64 procent 
vindt het eindrapport (zeer) goed bruikbaar, 68 procent vindt 
het eindrapport (zeer) kritisch en 57 procent vindt het rapport 
goed tot zeer goed leesbaar. 

De voorzitters van de auditcommissies die de instellingstoets 
kwaliteitszorg (ITK) uitvoeren, concluderen dat deze een 
belangrijk positief effect heeft op de kwaliteitscultuur binnen 
instellingen. De toets is zeker geen 'kunstje' en er is sprake van 
enige nervositeit bij de betrokken instellingen. 



NVAO Evaluatie accreditatiestelsel Nederland 201 1-2013/9 



De ITK heeft doorgaans ook een positief effect op het gemeen- 
schapsgevoel binnen een instelling. Het belang van de voor- 
bereiding op de toets, via het schrijven van de kritische 
reflectie en de uitvoering van een proefaudit, wordt daarbij 
genoemd als een factor die mede bepalend is voor het succes 
van de toets. De NVAO stelt vast dat het proces voorafgaande 
aan het bezoek zeer belangrijk is. In de voorbereiding op de 
audit wordt door de meeste instellingen enorm veel werk 
verzet. Het hele systeem van beleidsvoorbereiding, uitvoering 
en evaluatie wordt goed doorgelicht. 

De bovenstaande bevindingen sluiten aan bij de conclusies 
van de inspectie in haar onderzoek naar het functioneren van 
het accreditatiestelsel. De inspectie concludeert dat het 
stelsel goed aanzet tot verbetering: 'De beoordelingen stimu- 
leren instellingen en opleidingen goed tot verbetering van de 
kwaliteit dan wel de kwaliteitszorg'. In haar inleiding bij de 
evaluatie van het accreditatiestelsel stelt de inspectie dat het 
accreditatiestelsel: 'een krachtig, breed gedragen stelsel [is] 
meteen duidelijk kwaliteitsbevorderend effect'. Ook ENQA 
kwam in 201 2 tot een vergelijkbare conclusie: 'Generally, 
the impression of the Panel is that the new system in the 
Netherlands and not least the inclusion of institutional audits 
and the possibility for granting a recovery period do indeed 
promote more focus on quality improvement and enhancement 
than the previous system did'. 

Kwaliteitszorg 'op maat' 

De mogelijkheid van herstel voor opleidingen die niet (volledig) 
aan de maat zijn, leidt tot scherpere oordelen. De panels 
hebben minder schroom om onvoldoendes of herstel te advi- 
seren. De NVAO kan haar oordeel beter beargumenteren en 
voert nauwelijks nog verificatiebeoordelingen uit. De instel- 
lingen die te maken kregen met scherpere oordelen, maken 
serieus werk van de benodigde verbeteringen. Om de verande- 
ringen goed te borgen, heeft de NVAO bij een aantal oplei- 
dingen een hersteltraject ingesteld. 

De NVAO kiest er daarnaast voor om in bepaalde gevallen 
bestuurlijke afspraken te maken met instellingen. Bestuur- 
lijke afspraken maakt de NVAO met instellingen in die gevallen 
dat een negatief oordeel, een herstelperiode of een oordeel 
onder voorwaarden niet in de rede ligt, maar er toch voldoende 
redenen zijn om de vinger aan de pols te houden. Deze 
afspraken zijn openbaar en worden in de besluiten, samen 
met de bijbehorende rapporten, gepubliceerd op de website 
van de NVAO. Uiteraard past terughoudendheid bij het maken 
van deze afspraken, zeker bij instellingen die inmiddels een 
ITK positief hebben afgerond. Om goede opvolging te kunnen 



geven aan de gemaakte afspraken is het wenselijk dit instru- 
ment wettelijk te verankeren. 

Met de invoering van het nieuwe accreditatiestelsel is ook de 
mogelijkheid geïntroduceerd dat een besluit tot het verlenen 
van accreditatie, toets nieuwe opleiding of instellingstoets 
wordt ingetrokken (art. 5a.1 2b WHW). Hierdoor is het mogelijk 
om een opleiding snel en effectief te kunnen beëindigen bij 
ernstige kwaliteitsproblemen waar geen zicht meer is op 
verbetering. In het accreditatiestelsel heeft de NVAO de 
bevoegdheid om besluiten te nemen tot het verlenen en 
verlengen van accreditatie, toets nieuwe opleiding of instel- 
lingstoets, maar niet de bevoegdheid tot het intrekken 
daarvan. Deze bevoegdheid ligt bij de minister van Onderwijs, 
Cultuur en Wetenschap. 

Beide type besluiten (verlenen of intrekken) worden genomen 
na beoordeling van een opleiding of instelling en op dezelfde 
criteria. De vraagt rijst daarom of de bevoegdheid tot het 
intrekken van een besluit - uiteraard met behoud van de 
gevraagde zorgvuldigheid - niet eveneens bij de NVAO zou 
moeten worden belegd. 

Op dit moment kan de NVAO alleen een onderzoek naar een 
opleiding starten op verzoek van de minister. De minister stelt 
echter in de Nota van Wijziging bij de wet 'versterking kwali- 
teitswaarborgen hoger onderwijs' dat de NVAO verantwoorde- 
lijk is voor het beoordelen van de kwaliteit van het hoger 
onderwijs. 1 Het is daarom wenselijk dat de NVAO, bij signalen 
ten aanzien van de kwaliteit van een opleiding, uit eigen 
beweging nader onderzoek kan doen. 

Administratieve lasten 

De beheersing van de administratieve lasten heeft bij het 
ontwerp van het accreditatiestel bijzonder veel aandacht 
gekregen. De pilots met het nieuwe systeem die in 2008 en 2009 
werden uitgevoerd, hebben verschillende extra maatregelen 
opgeleverd die ertoe moesten leiden dat de lasten beperkt 
werden. Het is niettemin evident dat de vermindering van de 
administratieve lasten nog niet overal wordt gerealiseerd. 

De beperkte opleidingsbeoordeling moet op het niveau van de 
opleiding leiden tot een vermindering van de lasten. Er is 
echter binnen het systeem ook sprake van twee nieuwe 
toetsen: de instellingstoets, die in het Nederlandse stelsel, 
onlosmakelijk verbonden is aan de beperkte opleidingsbeoor- 
deling en de toetsing van visitatiecommissies voorafgaande 
aan de visitatie. 



1> Nota van wijziging bij de wet versterking kwaliteitswaarborgen hoger 
onderwijs (Kamerstukken II 201 2/1 3, 33 472). 
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De inspectie concludeert ten aanzien van dit vraagstuk: 
Een groot deel van de lasten komt niet zozeer voort uit wat de 
beoordelingskaders aan verantwoording en voorbereiding 
vragen, dat is namelijk alleszins redelijk. De lasten komen 
vooral voort uit wat instellingen zelf, daartoe mede geprikkeld 
door externe ontwikkelingen (incidenten met persaandacht, 
prestatieafspraken, interne borging) en door de zware gevolgen 
van een negatief besluit, aan documentaire en informatieve 
zekerheden zoeken. Ondanks dat de oorzaken van deze lasten 
deels elders liggen, en de lasten subjectief beoordeeld zijn, 
kleven ze nu wel aan elke externe beoordeling, dus ook aan het 
accreditatiestelsel. 2 

Omdat het accreditatiestelsel feitelijk het sluitstuk is van het 
interne toezicht binnen instellingen zelf en voortbouwt op de 
eigen processen en procedures van die instellingen is het ook 
niet goed mogelijk de externe kosten van het systeem exact te 
bepalen. 

Bij dit fenomeen moet nog worden opgeteld dat met de invoe- 
ringvan het nieuwe stelsel ook bijna alle bekostigde instel- 
lingen hebben gekozen voor een versnelde invoering van het 
'beperkte regime' bij de opleidingsbeoordeling. Dit betekende 
dat bijna alle instellingen in deze sector tussen 201 1 en 201 4 
de instellingstoets kwaliteitszorg moe(s)ten ondergaan. De 
NVAO is in dit licht optimistisch dat vanaf 201 4 wel degelijk 
een duidelijk waarneembare verlichting van de administra- 
tieve lasten waarneembaar zal zijn. Begin 201 4 zijn immers 
nagenoeg alle instellingstoetsen afgerond, zullen de instel- 
lingen de invoering van de wet 'versterking besturing' hebben 
voltooid en hebben alle instellingen ruime ervaring opgedaan 
met de nieuwe manier van beoordelen. 

De NVAO wijst erop dat synchroon met de invoering van het 
nieuwe stelsel een aantal andere ontwikkelingen in het hoger 
onderwijs aan de orde was. De overheid heeft, bijvoorbeeld 
door het maken van prestatieafspraken, ook voor extra 
administratieve lasten gezorgd. Deze maatregelen hangen 
nauw samen met de maatregelen die instellingen hebben 
genomen ter verbetering van de kwaliteit en het rendement 
van het onderwijs en zijn lastig te scheiden van de lasten 
veroorzaakt door extern toezicht. Daarnaast kwamen er 
belangrijke incidentele kwaliteitsperikelen bij hogescholen 
aan het licht. Op tal van gebieden hebben deze kwesties geleid 
tot extra maatregelen om de kwaliteit van het onderwijs beter 
te waarborgen. Daarnaast hebben deze problemen tot de 

2> Inspectie van het Onderwijs, De kwaliteit van het Nederlandse accreditatie- 
stelsel hoger onderwijs (16 juli 2013), pp. 47-50. 



nodige extra aandacht binnen de sector geleid ten aanzien 
van externe beoordelingen en is er een grotere (maatschappe- 
lijke) behoefte ontstaan aan het afleggen van verantwoording 
ten aanzien van onderwijsinstellingen. 

De NVAO vindt de administratieve lasten een belangrijk punt 
en wil daarom het voortouw nemen bij het streven deze lasten 
voor instellingen in het hoger onderwijs te verminderen. In 
samenspraak met andere partijen zal de NVAO blijven zoeken 
naar mogelijkheden om de administratieve lasten te 
verlichten. 

Aanbevelingen 

Op basis van de uitkomsten van de door de NVAO en door 
externe partijen uitgevoerde onderzoeken naar het functio- 
neren van het nieuwe accreditatiestelsel, komt de NVAO, 
naast de op verschillende plaatsen in het rapport genoemde 
verbetermogelijkheden, tot de volgende aanbevelingen aan de 
wetgever: 

Onafhankelijkheid van visitatiepanel 

> Behoud opdrachtgeverschap van commissies bij de instel- 
lingen: er is geen reden om te twijfelen aan de onafhanke- 
lijkheid van de oordelen van visitatiecommissie en het 
verplaatsen van het opdrachtgeverschap naar de NVAO 
brengt een aantal nadelen met zich mee. In de huidige 
situatie keurt de NVAO panelsamenstellingen goed op basis 
van duidelijke en adequate criteria ten aanzien van de 
deskundigheid en de onafhankelijkheid van de commissie. 

Consistentie in beoordelingen 

> Benut clustergewijs visiteren van opleidingen ook voor meer 
spreiding in de accreditatiekalender. Het clustergewijs visi- 
teren zal in de eerste plaats consistentie in beoordelingen 
van visitatiecommissies realiseren, maar kan, bij een herzie- 
ning van de accreditatiekalender, piekbelastingen en 
daarmee accreditatielasten verminderen. 

Flexibilisering van het instrumentarium 

> Stel de duur van de voorwaardelijke goedkeuring bij een ITK 
en de herstelperiode bij accreditatie vast op een periode van 
maximaal twee jaar, ook in geval van een oordeel onvol- 
doende op de standaard 'gerealiseerd niveau'. In sommige 
gevallen is een herstelperiode van één jaar te kort om het 
effect van genomen maatregelen te kunnen beoordelen 
(geen automatisme om naar twee jaar over te gaan). 
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> Veranker de bestuurlijke afspraken als instrument in de wet. 
Hierdoor kan goede opvolging worden gegeven aan de 
gemaakte afspraken en krijgen deze een heldere positie in 
het accreditatiestelsel. De NVAO dient terughoudend te zijn 
bij het maken van bestuurlijke afspraken, zeker na een posi- 
tieve instellingstoets.. 

> Verleen de NVAO de bevoegdheid tot het tussentijds 
intrekken van haar eigen besluit, in overeenstemming met 
het algemene principe dat de bevoegdheid tot het besluiten 
tot accreditatie bij de NVAO ligt. 

> Verleen de NVAO de bevoegdheid tot het zelfstandig initiëren 
van onderzoek bij signalen ten aanzien van de kwaliteit van 
een opleiding of instelling. 

> Verleen de NVAO de bevoegdheid om bij opleidingen die in 
afbouw zijn wegens een kwaliteitsproblematiek aanvullende 
eisen te stellen en afspraken te maken. De WHW vergt dat 
een instelling in de eerste plaats zoekt naar herplaatsing 
van studenten bij een gelijke opleiding die kwalitatief wel 
aan de maat is, maar in die gevallen waar dit niet tot de 
mogelijkheden behoort, moet een instelling haar zorgplicht 
nakomen en studenten de opleiding laten afmaken. De NVAO 
wil hierbij eisen aan de kwaliteit van de opleiding kunnen 
blijven stellen. Opleidingen in afbouw moeten niet 
onttrokken worden aan externe kwaliteitsborging, zeker niet 
in geval van intrekking van accreditatie. 

> Neem een extra criterium op voor de beoordeling van een 
bijzonder kenmerk, namelijk 'relevantie'. De NVAO vindt het 
wenselijk dat instellingen en opleidingen duidelijk kunnen 
aangeven welke bijdrage het bijzonder kenmerk levert aan 
de vergroting en verscherping van de keuzemogelijkheden 
voor studenten of de arbeidsmarkt, en waarom het kenmerk 
anders is dan wat in het reguliere accreditatiekader bij de 
invulling van de verschillende standaarden wordt gevraagd. 

Naast de bovengenoemde aanbevelingen, heeft de NVAO voor 
zichzelf de volgende voornemens geformuleerd: 

Vermindering administratieve lasten 

> De NVAO acht de vermindering van administratieve lasten 
van groot belang en zal daarom actief betrokken zijn bij het 
streven deze lasten te verminderen. 



Consistentie in beoordelingen 

> De NVAO is voornemens de voorzitters en secretarissen van 
de visitatiecommissies van opleidingen waar nodig te 
trainen en een gezamenlijke kennisbasis te ontwikkelen. Dit 
zal de consistentie in oordelen tussen en binnen domeinen 
van opleidingen ten goede komen. 

> Met betrekking tot de instellingstoets kwaliteitszorg is de 
NVAO voornemens een kennisbasis op te stellen. 

Daarnaast zal de NVAO in het kader van haar interne kwali- 
teitszorg nadrukkelijk aandacht aan consistente beoordeling 
blijven schenken. 

Toegankelijkheid van besluiten 

> De NVAO zal de toegankelijkheid van de besluiten op haar 
website (verder) verbeteren. 

Kwaliteitsversterking 

> De NVAO wil via systeembrede en thematische analyses en 
het samenbrengen van alle betrokken partijen stimuleren 
dat instellingen en opleidingen zelfde nodige vervolgstappen 
kunnen zetten op het gebied van kwaliteitsverbetering en het 
(verder) ontwikkelen van een kwaliteitscultuur. 
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Hoofdstuk 1 

Inleidin 



Hoe functioneert het nieuwe accreditatie- 
stelsel? Wat waren de belangrijkste 
nadelen van het oude accreditatiestelsel? 
Wat waren de uitgangspunten bij het 
ontwerpen van het nieuwe systeem? 

In dit evaluatierapport reflecteert de Nederlands-Vlaamse 
Accreditatieorganisatie (NVAO) op de vraag, in hoeverre de 
beleidsdoelstellingen zijn behaald met de in 201 1 ingevoerde 
wijzigingen in de Nederlandse accreditatiewetgeving. 
Dit hoofdstuk schetst de achtergronden, doelstellingen 
en onderzoeksvragen van het door de NVAO uitgevoerde 
evaluatieonderzoek en werpt een blik vooruit op de inhoud 
van het rapport. 

1.1 / Een nieuw accreditatiestelsel 

In 201 1 werd in Nederland een nieuw accreditatiestelsel inge- 
voerd. De NVAO reflecteert in dit rapport op de invoering van 
dit nieuwe accreditatiestelsel. De doelstellingen van het 
nieuwe systeem dienen daarbij als uitgangspunt voor deze 
evaluatie. 

De aanpassingen aan het accreditatiestelsel werden mede 
gebaseerd op aanbevelingen uit een breed scala aan onder- 
zoeken naar het functioneren van het eerste accreditatie- 
stelsel (2002-201 0). Uit deze evaluaties bleek dat het 
Nederlandse accreditatiestelsel goed werkte, maar dat er 
een aantal nadelen aan verbonden was. Samengevat waren 
de belangrijkste nadelen van het oude systeem: 

> het veroorzaakte hoge lasten voor instellingen en docenten; 

> de oriëntatie op processen en procedures dreigde de over- 
hand te krijgen op de inhoudelijke beoordeling van onder- 
wijskwaliteit; de rol van de peers (de deskundigen in de 
beoordelingscommissies) kwam hiermee in het gedrang; 

> het systeem zette onvoldoende aan tot kwaliteits- 
verbetering; een negatiefoordeel had dusdanig grote 
gevolgen, dat defensief gedrag ontstond om verlies van 
accreditatie te voorkomen; 

> accreditatie ging alleen over basiskwaliteit en maakte 
verschillen in kwaliteit niet goed zichtbaar. 



Het nieuwe accreditatiestelsel moest aan de nadelen van het 
oude stelsel tegemoet komen en tegelijkertijd het goede van 
het oude stelsel behouden. In de memorie van toelichting bij 
de accreditatiewet uit 201 werden in dit licht onderstaande 
uitgangspunten geformuleerd voor het nieuwe stelsel. 3 

1. Externe onafhankelijke beoordeling van de kwaliteit van 
het onderwijs is noodzakelijk. 

2. Het nieuwe stelsel is internationaal geaccepteerd. 

3. Accreditatie heeft meer focus op kwaliteit. 

4. De instellingen en opleidingen worden gestimuleerd om 
de kwaliteitscultuur te bevorderen. 

5. Kwaliteitszorg dient 'op maat' te worden uitgevoerd. 

6. De administratieve lasten worden verminderd. 

Deze uitgangspunten hebben tot een aantal belangrijke 
aanpassingen geleid. Zo werd de herstelperiode ingevoerd, 
waardoor na een negatiefoordeel een opleiding niet direct 
hoeft te sluiten, maar de mogelijkheid kan krijgen om te 
herstellen. Beleid, processen en de borging van de kwaliteit 
kunnen op het niveau van de instelling beoordeeld worden 
zodat de beoordeling van de kwaliteit van opleidingen beperkt 
kan worden tot de kern van het onderwijs en het gerealiseerde 
niveau van de afgestudeerden. Een flexibeler instrumentarium 
is daarmee gestalte gegeven. Sneller ingrijpen bij falende 
kwaliteit is ook mogelijk geworden nu de NVAO de bevoegd- 
heid heeft gekregen tussentijds onderzoek te doen naar 
lopende accreditaties. 

De NVAO heeft bij het ontwerp van het nieuwe stelsel ruim de 
tijd genomen voor overleg met alle betrokken partijen. Het 
ontwerp van het stelsel is vervolgens in 2008 en 2009 in de 
praktijk getoetst in pilots. Naar aanleiding van de evaluaties 
van de pilots door de NVAO en de Inspectie van het Onderwijs 
(inspectie) die in april 2009 beschikbaar kwamen, is het 
systeem definitief vormgegeven en op grond van de ervaringen 
met de pilots heeft de NVAO veel voorstellen voor verbetering 
gedaan. Deze aanpassingen hadden vooral betrekking op de 
nadere vormgeving en uitvoering van de instellingstoets en de 
beperkte opleidingsaccreditatie en de noodzaak van vermin- 
deringvan de administratieve lasten. Deze aanpassingen zijn 
uiteindelijk in het huidige stelsel vastgelegd in wetgeving en 
beoordelingskaders. 



3> Wijziging van de Wet op het hoger onderwijs en wetenschappelijk 
onderzoek in verband met aanpassing van het accreditatiestelsel 
(Kamerstukken II 2009/10, 32 210). 
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1.2/ Onderzoeksvragen 

De evaluatie van het nieuwe stelsel door de NVAO is opgezet 
aan de hand van de hierboven geschetste doelstellingen die 
bij de invoering van het nieuwe accreditatiestelsel werden 
geformuleerd. De centrale vraag van dit evaluatieonderzoek is: 
Hoe functioneert het nieuwe accreditatiestelsel? De NVAO 
heeft deze vraag vertaald in een aantal deelvragen: 

1. In hoeverre zorgt het stelsel voor een onafhankelijke 
externe beoordeling van de kwaliteit van het onderwijs? 
a. Hoe beoordeelt de NVAO de kwaliteit van de 

beoordelingen? 

2. In welke mate is het stelsel internationaal geaccepteerd? 

3. In hoeverre ligt de focus van accreditatie op de kwaliteit, 
inhoud en resultaten van het onderwijs? 

a. Hoe functioneert de instellingstoets kwaliteitszorg? 

b. Hoe functioneert de beperkte opleidingsbeoordeling? 

c. Hoe functioneert de uitgebreide opleidingsbeoordeling? 

4. Hoe worden instellingen en opleidingen gestimuleerd de 
kwaliteitscultuur te bevorderen? 

5. In welke mate maakt het stelsel kwaliteitszorg op maat 
mogelijk? 

a. Wat zijn de eerste resultaten van kwaliteitszorg op maat? 

6. In hoeverre draagt het stelsel bij aan een vermindering van 
administratieve lasten (ten opzichte van het oude stelsel)? 
a. Wat zijn de ervaringen van instellingen en docenten? 

Om deze onderzoeksvragen te beantwoorden, wordt naast 
eigen onderzoek gebruik gemaakt van externe onderzoeken 
van onder meer de Algemene Rekenkamer en het Belgische 
Rekenhof, de inspectie en de European Association for Quality 
Assurance in Higher Education (ENQA), dit om de uitkomsten 
van de eigen onderzoeken te contextualiseren: 

> Kwaliteitsbewaking in het hoger onderwijs in Nederland en 
Vlaanderen (uitgevoerd door de Algemene Rekenkamer en 
het Belgische Rekenhof, juli 2013); 

> De kwaliteit van het Nederlandse accreditatiestelsel hoger 
onderwijs (uitgevoerd door de Inspectie van het Onderwijs, 
juni 2013); 

> Report of the Panel of the external review of the NVAO 
(uitgevoerd door ENQA, september 201 2). 



Het eigen onderzoek van de NVAO omvat: 

> Onderzoek naar de verdeling van panelscores 
(uitgevoerd door de NVAO, juli 2013). 

> Onderzoek naar de beoordeling van de argumentatie van 
panelscores (uitgevoerd door de NVAO, juli 201 3). 

> Onderzoek naar de kwaliteit van de visitatierapporten 
(uitgevoerd door de NVAO, juli 2013). 

> Rondetafelgesprek met voorzitters van de instellingstoets 
kwaliteitszorg (uitgevoerd door de NVAO, mei 201 3). 

> Onderzoek naar de eerste ervaringen van docenten met de 
beperkte opleidingsbeoordeling (uitgevoerd door 
ResearchNed in opdracht van de NVAO, mei 201 3). 

> Evaluatie van panelsamenstellingen 
(uitgevoerd door de NVAO, 1 2 november 201 2). 

> Addendum bij evaluatiepanelsamenstellingen 
(uitgevoerd door de NVAO, 27 juni 2013). 

1.3 /Opbouw van het rapport 

Hoofdstuk 2 geeft een overzicht van de inrichting van het 
nieuwe accreditatiestelsel en beschrijft daarbij zowel de 
verschillende type beoordelingen die het stelsel kent als de 
bijbehorende spelregels. Hoofdstuk 3 bevat een overzicht van 
de resultaten van de opleidingsbeoordelingen. Hoofdstuk 4 
bespreekt een analyse van de kwaliteit van de beoordelingen en 
die van de visitatierapporten. Hoofdstuk 5 bevat de uitkomsten 
van onderzoek onder en door stakeholders.Ten slotte reflec- 
teert hoofdstuk 6 op de invoering van het nieuwe accreditatie- 
stelsel aan de hand van de eerder genoemde doelstellingen 
die de wetgever voor ogen had bij de invoering van het 
systeem. In hoofdstuk 7 formuleert de NVAO aanbevelingen, 
die het stelsel verder kunnen versterken en efficiënter maken. 
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Hoofdstuk 2 



Het 

accreditatie- 
stelsel in 

vogelvlucht 



Accreditatie vindt plaats op het niveau van de opleiding. 
Een instelling kan daarnaast een zogeheten instellingstoets 
kwaliteitszorg (ITK) laten verrichten door de NVAO. Wanneer 
door de NVAO bij een dergelijke grondige doorlichting is vast- 
gesteld dat de kwaliteitszorg van een instelling op orde is 
zodat de kwaliteit van de opleidingen stelselmatig en waar 
nodig verbeterd wordt, komt de instelling in een ander accre- 
ditatieregime terecht. In een dergelijk regime geschiedt de 
accreditatie van opleidingen op een andere wijze dan wanneer 
er geen positieve instellingstoets kwaliteitszorg is. In dit 
regime beoordeelt een visitatiepanel van onafhankelijke 
deskundigen een opleiding op een klein aantal standaarden 
die het hart van de onderwijskwaliteit betreffen, en accredi- 
teert de NVAO op basis daarvan al dan niet een opleiding. De 
docenten kunnen hun aandacht en energie steken in verbeter- 
suggesties van deskundigen die over de kern van hun onder- 
wijs gaan en hoeven zich minder bezig te houden met 
randvoorwaardelijke aspecten die meer op het niveau van de 
instelling liggen. Op instellingsniveau is immers al aangetoond 
dat een instelling voor die onderwerpen vertrouwen verdient. 

Het is een stelsel waarin wordt beoogd dat: 

> door de instellingstoets kwaliteitszorg de interne 
kwaliteitscultuur instellingsbreed een impuls krijgt; 

> bij de opleidingsaccreditatie de aandacht ligt bij de essentie 
van het onderwijs: (verbetering van) de inhoudelijke 
kwaliteit; 

> een goede balans ontstaat tussen de maat nemen van 
opleidingen enerzijds en de verbeterfunctie anderzijds. 

Hieronder wordt een beknopte beschrijving gegeven van de 
verschillende kaders waarbinnen het stelsel functioneert. 
Naast de beoordelingskaders heeft de NVAO een aantal 
handreikingen en richtlijnen opgesteld voor instellingen, 
opleidingen en panels. Het doel van deze regelingen is onder 
andere versterken van de consistentie en validiteit van de 
oordelen. Alle kaders en richtlijnen zijn beschikbaar op de 
website van de NVAO, www.nvao.net. 



2.1 / Beoordelingskaders 

2.1.1 / Instellingstoets kwaliteitszorg 

Het doel van de instellingstoets kwaliteitszorg is vast te 
kunnen stellen of het bestuur van een instelling vanuit zijn 
visie op de kwaliteit van het onderwijs een doeltreffend 
systeem van kwaliteitszorg hanteert waarmee het de kwaliteit 
van de aangeboden opleidingen kan garanderen. Het gaat bij 
de instellingstoets kwaliteitszorg uitdrukkelijk niet om de 
beoordeling van de kwaliteit van de afzonderlijke opleidingen. 

In essentie gaat het bij de instellingstoets kwaliteitszorg om 
vijf samenhangende vragen. Deze vijf vragen zijn vertaald in 
vijf standaarden: 

1. De instelling beschikt over een breed gedragen visie op de 
kwaliteit van haar onderwijs en op het ontwikkelen van een 
kwaliteitscultuur. 

2. De instelling beschikt over adequaat beleid om de visie op 
de kwaliteit van haar onderwijs te realiseren. Dit omvat in 
elk geval: beleid op het gebied van onderwijs, personeel, 
voorzieningen, toegankelijkheid en studeerbaarheid voor 
studenten met een functiebeperking, verankering van 
onderzoek in het onderwijs, alsmede de verwevenheid 
tussen onderwijs en het (internationale) beroepenveld en 
vakgebied. 

3. De instelling heeft zicht op de mate waarin haar visie op de 
kwaliteit van haar onderwijs wordt gerealiseerd, en meet 
en evalueert regelmatig de kwaliteit van haar opleidingen 
bij studenten, medewerkers, alumni en vertegenwoordigers 
van het beroepenveld. 

4. De instelling kan aantonen dat zij de kwaliteit van haar 
opleidingen waar nodig systematisch verbetert. 

5. De instelling heeft een effectieve organisatie- en beslis- 
singsstructuur met betrekking tot de kwaliteit van haar 
opleidingen, waarin de taken, bevoegdheden en verant- 
woordelijkheden duidelijk zijn afgebakend en waarvan de 
inspraak van studenten en medewerkers deel uitmaakt. 

Over elk van deze vijf standaarden geeft een auditcommissie 
van peers een gewogen en gemotiveerd oordeel op een drie- 
puntsschaal: voldoet wel, voldoet niet of voldoet ten dele 
aan de standaard. Vervolgens geeft de auditcommissie een 
gemotiveerd eindoordeel over de vraag of een instelling 
'in control' is over de kwaliteit van haar opleidingen. Ook 
dat oordeel vindt plaats op basis van een driepuntsschaal: 
positief, negatief of positief onder voorwaarden. 
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2.1.2 / Beperkte opleidingsbeoordeling 

Het kadervoorde beperkte beoordeling van bestaande 
opleidingen wordt gebruikt als de instelling beschikt over 
een positief oordeel over de instellingstoets kwaliteitszorg. 
De beoordeling komt tot stand op basis van een discussie 
met peers over de inhoud en kwaliteit van de opleiding en 
is gericht op drie vragen. Deze drie vragen zijn vertaald in 
drie standaarden: 

1. De beoogde eindkwalificaties van de opleiding zijn wat 
betreft inhoud, niveau en oriëntatie geconcretiseerd en 
voldoen aan internationale eisen. 

2. Het programma, het personeel en de opleidingsspecifieke 
voorzieningen maken het voor de instromende studenten 
mogelijk de beoogde eindkwalificaties te realiseren. 

3. De opleiding beschikt over een adequaat systeem van 
toetsing en toont aan dat de beoogde eindkwalificaties 
worden gerealiseerd. 

Over deze drie standaarden geeft een visitatiepanel een 
gemotiveerd oordeel op een vierpuntsschaal: onvoldoende, 
voldoende, goed of excellent. Vervolgens geeft dit panel een 
gemotiveerd eindoordeel over de kwaliteit van de opleiding 
als geheel, ook op de vierpuntsschaal. 

2.1.3 / Uitgebreide opleidingsbeoordeling 

Het kadervoorde uitgebreide beoordeling van bestaande 
opleidingen wordt gebruikt als de instelling niet beschikt over 
een positief oordeel over de instellingstoets kwaliteitszorg. 
De beoordeling komt tot stand op basis van een discussie 
met peers over de inhoud en kwaliteit van de opleiding en is 
gericht op zes vragen. Deze zes vragen zijn vertaald in zestien 
standaarden: 

1. De beoogde eindkwalificaties van de opleiding zijn wat 
betreft inhoud, niveau en oriëntatie geconcretiseerd en 
voldoen aan internationale eisen. 

2. De oriëntatie van het programma waarborgt de 
ontwikkeling van vaardigheden op het gebied van 
wetenschappelijk onderzoek en/of de beroepspraktijk. 

3. De inhoud van het programma biedt studenten de 
mogelijkheid om de beoogde eindkwalificaties te bereiken. 

4. De vormgeving van het programma zet aan tot studeren 
en biedt studenten de mogelijkheid om de beoogde 
eindkwalificaties te bereiken. 

5. Het programma sluit aan bij de kwalificaties van de 
instromende studenten. 

6. Het programma is studeerbaar. 



7. De opleiding voldoet aan wettelijke eisen met betrekking 
tot de omvang en de duur van het programma. 

8. De opleiding beschikt over een doeltreffend 
personeelsbeleid. 

9. Het personeel is gekwalificeerd voor de inhoudelijke, 
onderwijskundige en organisatorische realisatie van het 
programma. 

1 0. De omvang van het personeel is toereikend voor de 
realisatie van het programma. 

1 1. De huisvestingen de materiële voorzieningen zijn 
toereikend voor de realisatie van het programma. 

1 2. De studiebegeleiding en de informatievoorziening aan 
studenten bevorderen de studievoortgang en sluiten aan 
bij de behoefte van studenten. 

1 3. De opleiding wordt periodiek geëvalueerd, mede aan de 
hand van toetsbare streefdoelen. 

1 4. De uitkomsten van deze evaluatie vormen de basis voor 
aantoonbare verbetermaatregelen die bijdragen aan 
realisatie van de streefdoelen. 

1 5. Bij de interne kwaliteitszorg zijn de opleidings- en 

examencommissie, medewerkers, studenten, alumni en 
het afnemend beroepenveld van de opleiding actief 
betrokken. 

1 6. De opleiding beschikt over een adequaat systeem van 
toetsing en toont aan dat de beoogde eindkwalificaties 
worden gerealiseerd. 

Over de standaarden geeft een visitatiepanel een gemotiveerd 
oordeel op een vierpuntsschaal: onvoldoende, voldoende, 
goed of excellent. Vervolgens geeft dit panel een gemotiveerd 
eindoordeel over de kwaliteit van de opleiding, ook op de 
vierpuntsschaal. 

2.1.4/ Beperkte Toets Nieuwe Opleiding 

Het kader voor de beperkte beoordeling van nieuwe 
opleidingen wordt gebruikt als de instelling beschikt over 
een positief oordeel over de instellingstoets kwaliteitszorg. 
De beoordeling komt tot stand op basis van een discussie 
met peers over de inhoud en kwaliteit van de opleiding en 
is gericht op vier vragen. Deze vier vragen zijn vertaald in vier 
standaarden: 

1. De beoogde eindkwalificaties van de opleiding zijn wat 
betreft inhoud, niveau en oriëntatie geconcretiseerd en 
voldoen aan internationale eisen. 

2. Het programma, het personeel en de opleidingsspecifieke 
voorzieningen maken het voor de instromende studenten 
mogelijk de beoogde eindkwalificaties te realiseren. 
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3. De opleiding beschikt over een adequaat systeem van 
toetsing. 

4. De instelling geeft aan studenten de garantie dat het 
programma volledig kan worden doorlopen en stelt 
toereikende financiële voorzieningen beschikbaar. 

Over de standaarden geeft een visitatiepanel een gemotiveerd 
oordeel op een tweepuntsschaal: onvoldoende of voldoende. 
Vervolgens geeft het panel een gemotiveerd eindoordeel over 
de kwaliteit van de opleiding, ook op de tweepuntsschaal. 
Bij de toets nieuwe opleiding (TNO) is destijds gekozen voor 
een tweepuntsschaal, omdat bij de beoordeling van voor- 
nemens het niet voor de hand lag al oordelen 'goed' of 'excel- 
lent' uit te delen. De NVAO constateert wel een omissie in de 
beoordelingskaders op dit onderdeel. De NVAO kan op grond 
van de WHW immers een TNO onder voorwaarden toekennen, 
de panels kunnen echter op grond van het huidige beoor- 
delingskader alleen het oordeel 'voldoende' of 'onvoldoende' 
uitspreken in hun advies aan de NVAO. De NVAO is daarom 
voornemens het beoordelingskader zo aan te passen dat het 
ook voor panels mogelijk wordt het oordeel 'positief onder 
voorwaarden' uit te spreken. Het voorstel om de beoordelings- 
kaders aldus aan te passen, is ook van toepassing op de 
uitgebreide TNO die hieronder wordt besproken. 

2.1.5/ Uitgebreide Toets Nieuwe Opleiding 

Het kader voor de uitgebreide beoordeling van nieuwe oplei- 
dingen (uitgebreid TNO-kader) wordt gebruikt als de instelling 
niet beschikt over een positief oordeel over de instellingstoets 
kwaliteitszorg. De beoordeling komt tot stand op basis van 
een discussie metpeers over de inhoud en kwaliteit van de 
opleiding en is gericht op zeven vragen. Deze zeven vragen zijn 
vertaald in zestien standaarden: 

1. De beoogde eindkwalificaties van de opleiding zijn wat 
betreft inhoud, niveau en oriëntatie geconcretiseerd en 
voldoen aan internationale eisen. 

2. De oriëntatie van het programma waarborgt de 
ontwikkeling van vaardigheden op het gebied van 
wetenschappelijk onderzoek en/of de beroepspraktijk. 

3. De inhoud van het programma biedt studenten de 
mogelijkheid om de beoogde eindkwalificaties te bereiken. 

4. De vormgeving van het programma zet aan tot studeren 
en biedt studenten de mogelijkheid om de beoogde 
eindkwalificaties te bereiken. 

5. Het programma sluit aan bij de kwalificaties van de 
instromende studenten. 

6. Het programma is studeerbaar. 



7. De opleiding voldoet aan wettelijke eisen met betrekking 
tot de omvang en de duur van het programma. 

8. De opleiding beschikt over een doeltreffend 
personeelsbeleid. 

9. Het personeel is gekwalificeerd voor de inhoudelijke, 
onderwijskundige en organisatorische realisatie van het 
programma. 

1 0. De omvang van het personeel is toereikend voor de 
realisatie van het programma. 

1 1. De huisvestingen de materiële voorzieningen zijn 
toereikend voor de realisatie van het programma. 

1 2. De studiebegeleiding en de informatievoorziening aan 
studenten bevorderen de studievoortgang en sluiten aan 
bij de behoefte van studenten. 

1 3. De opleiding wordt periodiek geëvalueerd, mede aan de 
hand van toetsbare streefdoelen. 

1 4. Bij de interne kwaliteitszorg zijn de opleidings- en 
examencommissie, medewerkers, studenten, alumni en 
het afnemend beroepenveld van de opleiding actief 
betrokken. 

1 5. De opleiding beschikt over een adequaat systeem van 
toetsing. 

1 6. De instelling geeft aan studenten de garantie dat het 
programma volledig kan worden doorlopen en stelt 
toereikende financiële voorzieningen beschikbaar. 

Over de standaarden geeft een visitatiepanel een gemotiveerd 
oordeel op een tweepuntsschaal: onvoldoende of voldoende. 
Vervolgens geeft het panel een gemotiveerd eindoordeel over 
de kwaliteit van de opleiding als geheel, ook op de tweepunts- 
schaal. 

2.1.6/ Bijzonder kenmerk 

De bijzondere kenmerken zijn opgenomen in het accreditatie- 
stelsel omdat deze kunnen bijdragen aan de nationale en 
internationale profilering van opleidingen in het hoger onder- 
wijs. Het bijzondere kenmerk biedt instellingen de mogelijk- 
heid zich te profileren op aspecten die niet direct gerelateerd 
zijn aan het niveau van de opleiding, maar bijvoorbeeld te 
maken hebben met de oriëntatie (zoals onderzoeksmasters), 
met doelstellingen als duurzaamheid, of met het residentiële 
karakter. 

De NVAO heeft uitgangspunten bij de beoordeling van een 
bijzonder kenmerk opgesteld. Indien een opleiding of instel- 
ling een bijzonder kenmerk aanvraagt, wordt deze door een 
commissie beoordeeld op criteria die betrekking hebben op 
het onderscheidend karakter en de concretisering. 
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De NVAO is voornemens de beoordelingskaders op dit punt 
verder te preciseren. De NVAO heeft aarzelingen bij de rele- 
vantie van de bijzondere kenmerken voor de kwaliteit van het 
onderwijs en de profilering van de opleiding en/of instelling. 
De NVAO steltvoor een extra criterium voor de beoordeling van 
het bijzondere kenmerk op te nemen in het beoordelingskader, 
namelijk 'relevantie'. De instellingen opleiding moeten dan 
aan het panel duidelijk maken welke bijdrage het bijzonder 
kenmerk levert aan de vergroting en verscherping van de 
keuzemogelijkheden voorstudenten of de arbeidsmarkt, 
en waarom het kenmerk anders is dan wat in het reguliere 
accreditatiekader bij de invulling van de verschillende stan- 
daarden wordt gevraagd. 



2.2 /Beoordelingsschalen en 
beslisregels 

De beoordelingsschalen voor opleidingsbeoordelingen bij 
accreditatie zijn als volgt gedefinieerd: 

> Onvoldoende: De opleiding voldoet niet aan de gangbare 
basiskwaliteit en vertoont op meerdere vlakken ernstige 
tekortkomingen. 

> Voldoende: De opleiding voldoet aan de gangbare basis- 
kwaliteit en vertoont over de volle breedte een acceptabel 
niveau. 

> Goed: De opleiding steekt systematisch en over de volle 
breedte uit boven de gangbare basiskwaliteit. 

> Excellent: De opleiding steekt systematisch en over de volle 
breedte ver uit boven de gangbare basiskwaliteit en geldt als 
een (inter)nationaal voorbeeld. 

Voor elk type beoordeling heeft de NVAO beslisregels vast- 
gesteld. In deze beslisregels is vastgelegd wanneer een 
opleiding het eindoordeel onvoldoende, voldoende, goed of 
excellent luidt. 

Wanneer er sprake is van verschillende varianten of locaties 
van een opleiding, dan moet uit de beoordeling blijken dat voor 
elke variant / locatie de basiskwaliteit is gewaarborgd op grond 
van de standaarden uit het betreffende beoordelingskader om 
te komen tot een positief eindoordeel over de opleiding. 



2.3 / Herstelperiode en voorwaarden 

Als de NVAO een aanvraag tot hernieuwing van een al 
bestaande accreditatie of accreditatie na afloop van een 
besluit toets nieuwe opleiding beoordeelt en vaststelt dat de 
opleiding niet voldoet aan de vereiste kwaliteitsaspecten, kan 
zij besluiten de bestaande accreditatie, respectievelijk toets 
nieuwe opleiding, te verlengen en een zogenaamde 'herstel- 
periode'toekennen. 

Een herstelperiode kan alleen maar worden toegekend als 
de NVAO van mening is dat de gebreken redelijkerwijs binnen 
een periode van ten hoogste twee jaar zijn te herstellen. Het 
beoordelingsrapport van het visitatiepanel is daarbij van groot 
belang. De NVAO kan bij het verlenen van de herstelperiode 
voorwaarden stellen. Deze voorwaarden komen qua inhoud en 
functie overeen met de voorwaarden die aan de toets nieuwe 
opleiding en de instellingstoets kwaliteitszorg kunnen worden 
verbonden, indien daar het oordeel'positief onder voorwaarden' 
wordt uitgesproken. 



2.4 /Intrekkingsprocedure 

In het nieuwe accreditatiestelsel is ook de mogelijkheid geïn- 
troduceerd dat een besluit tot het verlenen van accreditatie, 
toets nieuwe opleiding of instellingstoets kwaliteitszorg wordt 
ingetrokken (art. 5a.1 2b WHW). Dit maakt het mogelijk om 
onderwijs snel en effectief te kunnen beëindigen wanneer er 
geen zicht meer is op verbetering. De bevoegdheid hiertoe is 
neergelegd bij de minister van Onderwijs, Cultuur en Weten- 
schap en wordt gezien als het sluitstuk in het systeem van 
kwaliteitszorg. 4 De NVAO doet in dit rapport voorstellen voor 
een effectievere inrichting van deze procedure. 



Het eindoordeel voor een toets nieuwe opleiding en instellings- 
toets kwaliteitszorg kent drie smaken: (1) positief, (2) positief 
onder voorwaarden en (3) negatief. Indien de commissie het 
oordeel positief onder voorwaarden uitspreekt, geeft zij deze 
voorwaarden expliciet aan in het advies aan de NVAO. 



4> Wijziging van de WHW in verband met aanpassing van het accreditatie- 
stelsel (Kamerstukken II 2009/10, 32 210) nr. 3, pp. 22-23. 
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2.5 / Panelsamenstelling 

Het accreditatiestelsel heeft mede tot doel discussies tussen 
peers en docenten over de kwaliteit van het onderwijs stimu- 
leren en zo een bijdrage leveren aan het ontwikkelen van een 
kwaliteitscultuur binnen hogeronderwijsinstellingen. De NVAO 
heeft eisen gesteld aan de samenstelling van een panel van 
deskundigen, namelijk: gezaghebbendheid, onafhankelijkheid 
en deskundigheid. Panels beschikken over de volgende 
deskundigheden bij de beoordeling van opleidingen: 

a. deskundigheid ten aanzien van de ontwikkelingen in het 
vakgebied; 

b. internationale deskundigheid; 

c. werkvelddeskundigheid in het voor de opleiding relevante 
beroepenveld; 

d. onderwijsdeskundigheid: ervaring met het geven of ont- 
wikkelen van onderwijs op het desbetreffende opleidings- 
niveau en oriëntatie (hbo of wo) en deskundigheid ten 
aanzien van de door de opleiding gehanteerde 
onderwijsvorm(en) ; 

e. studentgebonden deskundigheid; 

f. visitatie- of auditdeskundigheid. 

Panels zijn onafhankelijk van de te beoordelen opleiding/ 
instelling. 

Voor het toetsen van nieuwe opleidingen en de instellingtoets 
kwaliteitszorg stelt de NVAO het panel, respectievelijk de 
auditcommissie samen. Voor bestaande opleidingen stelt 
de instelling (of het evaluatiebureau in opdracht van de 
instelling) het panel samen en legt deze ter instemming aan 
de NVAO voor. Panelleden ondertekenen een verklaring tot 
onafhankelijkheid en geheimhouding en stemmen in met de 
gedragscode voor panelleden. 

2.6 /Training en certificering 

2.6.1 / Secretarissen 

Elk panel wordt ondersteund door een gecertificeerde 
secretaris die verantwoordelijk is voor de schriftelijke rappor- 
tage van de bevindingen van het panel. Onder 'certificering' 
wordt verstaan het plaatsen op een lijst van door de NVAO 
goedgekeurde secretarissen. Plaatsing op deze lijst is een 
voorwaarde voor instemming met een panel door de NVAO. 
Inmiddels heeft de NVAO ongeveer 200 secretarissen getraind 
en gecertificeerd. 



Een voorlopige certificering vindt plaats op basis van het 
volledig en actief volgen van trainingen. Na een jaar wordt 
op basis van een evaluatie door de NVAO beoordeeld of de 
certificering definitief is. Jaarlijks volgen de secretarissen 
een bijscholings- of intervisiebijeenkomst ten einde hun 
certificaat te verlengen. Bij onvoldoende prestaties of twijfels 
volgt een gesprek met de NVAO. In dat gesprek kunnen 
afspraken gemaakt worden voor een verbetertraject, waarvan 
ook een aanvullende training deel kan uitmaken. Centraal 
in de trainingen staan de uitleg over de bedoelingen van het 
nieuwe beoordelingskader, de toepassing ervan, en de 
rapportage. In de uitvoering kan voor beide of een van beide 
typen werkzaamheden gekozen worden. Er zijn twee typen 
trainingen: A voor opleidingsbeoordelingen; B voor instellings- 
toetsen. Een certificaat voor een A-training is voorwaarde voor 
toelating tot de B-training. 

2.6.2 / Voorzitters instellingstoets kwaliteitszorg 

Om te borgen dat de instellingstoets kwaliteitszorg consistent 
wordt uitgevoerd en instellingen langs dezelfde lat worden 
gelegd, traint de NVAO toekomstige (vice)voorzitters van 
auditcommissies. De NVAO nodigt hiervoor kandidaten uit. 
Op dit moment heeft de NVAO ongeveer veertig voorzitters 
getraind en gecertificeerd. 

2.7/Conclusie 

De beoordelingskaders, de trainingen en de overige hierboven 
genoemde instrumenten en regelingen beogen de doelstel- 
lingen die de wetgever had met het nieuwe stelsel te vertalen 
naar een goed functionerend systeem waarbinnen deze 
doelen gerealiseerd kunnen worden. In de rest van dit rapport 
wordt gereflecteerd op de vraag of deze doelstellingen ook 
daadwerkelijk zijn behaald. 

In het volgende hoofdstuk worden de eerste uitkomsten van 
het nieuwe stelsel geëvalueerd. In dit hoofdstuk wordt 
beschreven hoe de verdeling in oordelen op standaardniveau 
en bij het eindoordeel is en hoe de beoordelingsschalen in de 
praktijk worden gebruikt. 
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Hoofdstuk 3 

Resultaten van 
accreditatie- 
Drocessen in 

Mederland 



Wat zijn de ervaringen met peer review? 
Wat zijn de resultaten van de eerste 
ronde van het nieuwe stelsel? Wat is 
de distributie van panelscores op de 
verschillende standaarden? In hoeverre 
zorgt de spreiding op het eindoordeel voor 
zichtbare kwaliteitsverschillen tussen 
opleidingen? 

Dit hoofdstuk bespreekt de uitkomsten van het onderzoek dat 
de NVAO heeft uitgevoerd om deze vragen te beantwoorden. 
In dit hoofdstuk wordt toegelicht (a) dat bij circa een kwart van 
de voordrachten de NVAO aanvullende vragen moest stellen; 
en (b) dit deels onvolledige voordrachten betrof en deels het 
daadwerkelijk versterken van de panelsamenstelling betrof. 
Daarnaast laat het in dit hoofdstuk beschreven onderzoek 
zien (c) dat bij accreditaties zoals verwacht het eindoordeel 
voldoende het vaakst voorkomt; (d) dat het eindoordeel 
excellent bij de uitgebreide opleidingsbeoordeling nog niet is 
gegeven; (e) dat het bij de uitgebreide opleidingsbeoordeling 
lastig lijkt voor opleidingen een goed of excellent eindoordeel 
te behalen in verband met de beslisregels; en (f) dat bij diverse 
standaarden van de uitgebreide opleidingsbeoordeling niet de 
volledige schaal wordt benut. 

3.1 / Peer review 

Eén van de fundamenten van het accreditatiestelsel is de onaf- 
hankelijke en deskundige beoordeling door gezaghebbende 
deskundigen: de peer review. Peer review wordt internationaal 
erkend als de meest geëigende werkwijze bij de externe 
kwaliteitsbeoordeling in het hoger onderwijs. De NVAO onder- 
schrijft het belang van peer review in de beoordeling van de 
kwaliteit van een opleidingof instellingen koppelt er voor- 
waarden aan. De NVAO stelt specifieke eisen aan de samen- 
stelling van de commissies van peers; deze dienen te bestaan, 
niet alleen uit gezaghebbende, onafhankelijke peers met 
vakdeskundigheid, maar dienen ook deskundigheid op het 
gebied van onderwijs, toetsing, kwaliteitszorg, auditdeskundig- 
heid en het betreffende werkveld te bevatten. Daarnaast maakt 
altijd een student deel uit van een dergelijke commissie. 
In de auditcommissies die de instellingstoets kwaliteitszorg 
uitvoeren, moeten daarnaast ook deskundigen zitten die 
ervaring hebben met het besturen van instellingen voor hoger 
onderwijs. Hierdoor worden bij iedere beoordeling meerdere 
facetten (perspectieven) van kwaliteit meegenomen in de 



beoordeling. In dit opzicht is de beoordeling van de kwaliteit 
van het onderwijs in het accreditatiestelsel dus breder dan bij 
de klassieke peer review. Deze inclusieve en brede benadering 
van peer review bij de beoordeling van de kwaliteit van het 
onderwijs wordt ook onderschreven door UNESCO. 5 

De Wetenschappelijke Raad voor het Regeringsbeleid (WRR) 
onderschrijft eveneens het belang van peer review bij externe 
verantwoording over kwaliteit en kwaliteitsverbetering in de 
publieke sector. Zo schrijft de WRR 'de raad bepleit het gebruik 
van vormen van visitatie en intercollegiale consultatie waarbij 
door ervaren peers met voldoende afstand een evaluatie wordt 
gegeven van het proces, de resultaten en de uitkomsten.' 6 
In het hier aangehaalde rapport doet de WRR de aanbeveling 
kwaliteitsverbeterende methoden zoals visitaties en peer 
review verder uit te bouwen en te gebruiken als vanzelf- 
sprekend onderdeel van het werk. Daarnaast schrijft de 
raad dat het gebruiken van interne kwaliteitssystemen een 
essentiële bouwsteen is voor een samenhangend, sober en 
selectief toezicht. Ook het Rathenau Instituut concludeert dat 
peer review bij de beoordeling van de kwaliteit van onderzoek 
een goede voorspeller is voor succes. 7 

De consistentie van de beoordeling in een systeem van peer 
review kan worden versterkt door gebruikt te maken van 
gestandaardiseerde en uniforme gegevens. 8 De NVAO heeft 
in 201 2 standaarddefinities voor kengetallen opgesteld die 
moeten worden gebruikt bij de visitatie van opleidingen. De 
beoordelingskaders geven immers geen duidelijke definities 
van deze indicatoren. Na overleg met de koepelorganisaties 
heeft de NVAO nieuwe indicatoren en definities vastgesteld 
die met ingang van 1 oktober 201 2 worden gebruikt bij de 
beoordelingen van de kwaliteit van opleidingen. De NVAO 
vraagt opleidingen nu bij een accreditatieaanvraag gegevens 
te leveren over een aantal indicatoren zoals uitval, rendement, 
docentkwaliteit, student-docentratio en contacttijd. 



5> United Nations Educational, Scientific and Cultural Organization (201 1). 

Module 4: Understanding and assessing quality. (Bron: http://www.iiep. 

unesco.org/fileadmin/user_upload/Cap_Dev_Training/Training_Materials/ 

HigherEd/EQA_HE_4.pdf , binnengehaald op 5 augustus 2013). 
6> Wetenschappelijke Raad voor het Regeringsbeleid, Bewijzen van goede 

dienstverlening (2004). 
7> Rathenau Instituut (2007). Past performance as predictor of successful 

grant applications: a case study (bron: http://www.rathenau.nl/uploads/ 

tx_tferathenau/Past_Performance.pdf, binnengehaald op 5 augustus 

2013). 

8> S. Cole, J.R. Cole en G.A. Simon, 'Chance and consensus in peer review' 
in Science, vol. 214 no. 4523 (1981), pp. 881-886. 
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De definities zijn tot stand gekomen door zoveel mogelijk aan 
te sluiten bij al bestaande sets indicatoren en definities in het 
hoger onderwijs. Om deze reden wijken de definities voor het 
hoger beroepsonderwijs en het wetenschappelijk onderwijs in 
bewoording soms enigszins af, hoewel in feite naar dezelfde 
gegevens wordt gevraagd. Definities voor verschillende 
opleidingen kunnen van verschillende betekenis zijn. 
Zo kunnen opleidingen die (bijna) volledig als afstands- 
onderwijs worden aangeboden, zoals een aantal commerciële 
opleidingen en opleidingen van de Open Universiteit, een 
geheel ander aantal contacturen laten zien dan reguliere 
opleidingen. 

Mocht een instelling van mening zijn dat toepassing van 
de voorgeschreven definities een vertekend beeld van de 
opleiding oplevert, dan staat het haar uiteraard vrij een 
toelichting bij de gevraagde basisgegevens te verschaffen. 

De Algemene Rekenkamer wijst in haar rapportage ook nog op 
het belang van geclusterd visiteren voor de versterking van de 
betrouwbaarheid en consistentie van peer review. Zij schrijft 
dat het nu soms lastig is de exacte weging van de bevindingen 
uit de rapportages af te leiden. Met de introductie van geclus- 
terd visiteren zijn de oordelen bij verschillende opleidingen 
beter met elkaar te vergelijken. De NVAO onderschrijft deze 
observatie. 

Van belang voor betrouwbare en consistente beoordelingen is 
tevens een goede kennis bij de panels van het accreditatie- 
kader en de wijze van beoordelen. Dit kan bevorderd worden 
door een goede training van de panels. NVAO heeft de voorbije 
jaren diverse trainingen georganiseerd voor externe secreta- 
rissen en doet dit ook voor (potentiële) commissievoorzitters 
van instellingstoetsen. NVAO is bereid ook trainingen 
voor commissievoorzitters van opleidingsbeoordelingen 
te organiseren. 

3.2 / Panelsamenstellingen 

In het nieuwe accreditatiestelsel heeft de NVAO de opdracht 
gekregen om voorafgaand aan de visitatie het visitatiepanel 
goed te keuren. Het visitatiepanel doet onderzoek naar de 
kwaliteit van een opleiding en wordt samengesteld door een 
instelling, of namens een instelling door een evaluatiebureau. 
De NVAO toetst het panel op onafhankelijkheid en deskundig- 
heid. De NVAO moet dus voorafgaand aan de beoordeling van 
een bestaande opleiding (accreditatie) instemmen met de 
samenstelling van het panel van deskundigen (WHW, artikel 



5a. 2, tweede lid). In tabel 3.1 is het aantal voordrachten van 

panelsamenstellingen in 201 2 weergegeven. 

Door hantering van dezelfde criteria op de panels die onder 

regie van de NVAO opereren (zoals voor de uitvoering van de 

toets nieuwe opleiding) garandeert de NVAO daarbij dat ook 

die beoordelingen op onafhankelijke en deskundige wijze 

plaatsvinden. 

Tabel 3.1 

Totaal aantal voordrachten panelsamenstellingen 
(afgehandeld per 31-1 2-1 2) 





Aantal panels 


Aantal 
betrokken 
instellingen 


Aantal 
betrokken 
opleidingen 


Aantal 
betrokken 
evaluatie- 
bureaus 


HBO 


142 


45 


184 


7 


WO 


166 


19 


491 


4 


Totaal 


308 


64 


675 


8 



Bron: Jaarverslag 2012. Nieuwe paden. 



De criteria voor onafhankelijkheid en deskundigheid zijn 
neergelegd in het Beoordelingskader en verder uitgewerkt in 
de leidraad 'Eisen aan de panelsamenstelling'. Dezelfde eisen 
gelden zowel voor panels samengesteld door de NVAO voor 
het uitvoeren van een toets nieuwe opleiding als voor panels 
voorde beoordeling van bestaande opleidingen. 

De NVAO heeft in 201 2 onderzoek gedaan naar de samenstel- 
lingvan de panels en ook bezien hoe zij zelfde beoordeling 
van deze panels ter hand heeft genomen. De evaluatie berust 
op gegevens over panelvoordrachten ingediend tot en met 
augustus 201 2. 9 

Uit de evaluatie blijkt dat in vrijwel alle gevallen het panel 
wordt samengesteld door een evaluatiebureau (daartoe 
gemandateerd door de instelling). Instellingen en opleidingen 
maken amper gebruik van de mogelijkheid om hun eigen 
visitaties te organiseren. Een wijd verspreid gebruik van deze 
mogelijkheid zou overigens de clustergewijze beoordeling van 
opleidingen bemoeilijken. 



9> Een panel of panelvoordracht betreft hier telkens de voordracht van een 
panel per instelling. Dat kan ook meerdere opleidingen betreffen, zoals 
een bachelor en de doorstroommaster. Hierdoor ligt het aantal betrokken 
opleidingen hoger dan het aantal voorgedragen panels. 
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3.2.1 / Kwaliteit van de voordrachten 



3.2.3/ Kwaliteit van de panelsamenstellingen 



Bij circa een kwart van de voordrachten heeft de NVAO ont- 
brekende informatie opgevraagd alvorens tot een beoordeling 
te kunnen komen. In hoofdzaak betrof het voordrachten die 
niet voldeden aan de administratieve vereisten, waardoor het 
niet mogelijk was inhoudelijk te toetsen op onafhankelijkheid 
en deskundigheid (circa 35 procent van de probleemgevallen) 
en voordrachten waarvoor een nadere (meer overtuigende) 
onderbouwing nodig was of wijziging van het panel voordat de 
NVAO er mee zou kunnen instemmen (circa 40 procent van de 
probleemgevallen). Wijzigingen in het panel waren vooral 
gericht op het versterken van de internationale en onderwijs- 
deskundigheid in panels bij het beoordelen van hbo-bachelor- 
opleidingen. In enkele gevallen was er een probleem met de 
onafhankelijkheid van een panellid en werd de betrokkene om 
die reden vervangen. 

De kwaliteit van de voorgedragen panels is sinds de invoering 
van het nieuwe accreditatiestelsel toegenomen. Een vergelijk- 
bare evaluatie in 201 1 wees uit dat de NVAO in 21 procent van 
de voorgedragen panels een wijziging heeft opgelegd, opdat 
het voldoende zou zijn toegerust om de opleidingsbeoordeling 
op deskundige wijze uit te voeren. In 201 2 (tot en met 
augustus) is in 3 procent van de panels een wijziging opge- 
legd. Er heeft zich een duidelijk leereffect voorgedaan bij de 
bureaus die de panels hebben samengesteld. 

3.2.2 / Onafhankelijkheid van panelleden 

Alle panelleden en de secretaris dienen onafhankelijk te zijn 
en daartoe een onafhankelijkheidsverklaring te ondertekenen 
op basis van een format dat de NVAO heeft vastgesteld. De 
NVAO toetst de onafhankelijkheid van een voorgedragen panel 
aan de hand van de onafhankelijkheidsverklaringen en de 
curricula vitae. Problemen ten aanzien van onafhankelijkheid 
doen zich zeer zelden voor. In 201 2 (tot en met augustus) is in 
één van de 244 panels op last van de NVAO een panellid 
vervangen omdat zijn voordracht niet voldeed aan de eisen 
van onafhankelijkheid. In 201 1 was dat in drie van de 1 26 
voorgedragen panels het geval. 

Na eventuele wijzigingen heeft de NVAO met alle voor- 
gedragen panels ingestemd. Door de toetsing vooraf van 
de onafhankelijkheid en deskundigheid van visitatiepanels 
waarborgt de NVAO dat de opleidingsbeoordeling op onaf- 
hankelijke en deskundige wijze wordt uitgevoerd. 



De NVAO signaleert evenwel dat de kwaliteit van de panels 
nog verder kan toenemen. Een deel van de evaluatiebureaus 
zet professionele auditors in. Dit leidt aantoonbaar tot minder 
domeindeskundigen in een panel, maar het inzetten van 
ervaren auditors heeft ook voordelen zoals in de inleiding bij 
deze paragraaf beschreven. De NVAO is van mening dat naast 
een verdere professionalisering ook de onderwijsdeskundig- 
heid sterker kan worden ingevuld, met meer onderwijskundige 
expertise op met name het vlak van toetsing. De maatschap- 
pelijke roep daartoe neemt toe en dit is ook een van de 
aanbevelingen van de inspectie. 10 Tot slot kan de werkveld- 
deskundigheid worden versterkt in de panels voor het beoor- 
delen van wetenschappelijke opleidingen. De panels zijn 
goed op de hoogte van de eisen die het werkveld stelt aan 
afgestudeerden van de opleidingen, maar in deze panels 
ontbreken nog vaak echte rolmodellen uit de professionele 
praktijk. Deze generieke conclusies uit de evaluatie van 201 2 
heeft de NVAO besproken met de evaluatiebureaus. 

3.2.4 / Administratieve lasten van de toetsing 

De toetsing van visitatiepanels door de NVAO op onafhankelijk- 
heid en deskundigheid is ingevoerd als onderdeel van het 
nieuwe accreditatiestelsel. Evaluatiebureaus en instellingen 
wensen daarbij snel uitsluitsel van de NVAO over de kwaliteit 
van het panel, zodat het zijn werkzaamheden kan aanvangen. 
De NVAO streeft er daarom naar om de administratieve lasten 
zo veel mogelijk te beperken en aanvragen binnen vier weken 
af te handelen. 

De NVAO heeft de behandeling zo ingericht dat de admini- 
stratieve lasten beperkt zijn. Een panelvoordracht wordt 
onderbouwd aan de hand van een ingevuld overzichtelijk 
'verantwoordingsformulier' en wordt ondersteund door een 
aantal authentieke (al bestaande) documenten. Bijvoorbeeld 
curricula vitae zullen doorgaans al voorhanden zijn en hoeven 
zo niet speciaal voor de NVAO te worden gefabriceerd. De 
aangeleverde informatie dient afdoende te zijn om de NVAO in 
staat te stellen een besluit te nemen over de kwaliteit van het 
voorgedragen panel. De gehele procedure verloopt digitaal: 
zowel de panelvoordracht door de instelling of evaluatie- 
bureau als de kennisgeving over het besluit tot al dan niet 
instemming gaat via e-mail. 

10> Zie bijvoorbeeld: HBO-raad, Vreemde ogen dwingen: eindrapport 

commissie externe validering examenkwaliteit hoger beroepsonderwijs 
(201 2), p. 60. 
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De NVAO realiseert in hoge mate haar doei om panel- 
voordrachten binnen de termijnen af te handelen. In 201 2 
bedraagt de gemiddelde behandeltermijn 25,2 dagen en in 
201 3 (tot en met juni) 26,0 dagen. In 201 2 werd 73 procent van 
de verzoeken binnen de ordetermijn afgehandeld en in 2013 
(tot en met juni) 67 procent. Uit de evaluatie door de NVAO in 
201 2 (op basis van voordrachten tot en met augustus) blijkt 
dat overschrijding van de termijn hoofdzakelijk is toe te 
schrijven aan de kwaliteit van de voordracht of van het panel. 
De gemiddelde behandeltermijn van probleemgevallen 
(waarbij de voordracht bijvoorbeeld incompleet is of de onder- 
bouwing niet overtuigt) is 40,3 dagen, terwijl de NVAO in 
probleemloze gevallen gemiddeld in 1 9,9 dagen uitsluitsel 
geeft - ruim binnen de behandeltermijn van vier weken. Deze 
extra stap in het accreditatieproces leidt daardoor tot een zeer 
beperkte last voor instellingen en evaluatiebureaus. 



3.3 /Overzicht besluiten HO Nederland 

In deze paragraaf worden aantallen weergegeven van de 
verschillende beoordelingen die de NVAO de afgelopen jaren 
heeft uitgevoerd. In tabel 3.2 worden de aantallen behandelde 
aanvragen van de kalenderjaren 2003 tot en met 201 2 weer- 
gegeven. In tabel 3.3 worden de aantallen weergegeven van 
het aantal teruggetrokken aanvragen in diezelfde periode. 
Beide tabellen zijn uitgesplitst naar type beoordeling. 11 



Tabel 3.2 

Totaal aantal aanvragen 
Afgehandeld per 31-12-12 



1 1> Onderzoeksmasters en verlengde masters zijn in deze tabellen als aparte 
categorieën opgenomen omdat deze opleidingen met specifieke toetsen 
worden beoordeeld. 





Totaal* 


Acer NL 


TNO NL 


Onderz. 
master 


Verl. 
master 


2012 


573 


335 


55 


4 




2011 


617 


305 


82 


10 




2010 


719 


424 


106 


55 


- 


2009 


827 


506 


117 


60 


1 


2008 


859 


573 


114 


6 


4 


2007 


770 


523 


102 


5 


8 


2006 


503 


336 


91 


10 


11 


2005 


461 


371 


59 


27 


1 


2004 


345 


232 


35 


78 


. 


2003 


40 




5 


35 




Totaal 


5.714 


3.605 


766 


209 


25 


Bron: Jaarverslag 2012. Nieuwe paden. 

* Het totaal is berekend over Nederlandse en Vlaamse aanvragen. 
In de tabel zijn verder alleen Nederlandse aanvragen opgenomen. 




Tabel 3.3 

Totaal aantal teru 


ggetrokken aanvra 


gen 




Afgehandeld per 31-1 2-1 2 










Totaal 


Acer 


TNO 


Onderz. 
master 


Verl. 
master 


2012 


13 


3 


10 






2011 


30 


9 


20 


1 




2010 


61 


12 


42 


7 




2009 


47 


9 


36 


2 




2008 


28 


2 


24 




2 


2007 


27 


5 


22 






2006 


48 


8 


31 


3 


6 


2005 


39 


14 


15 


10 




2004 


37 


2 


35 






2003 


2 




2 







Bron: Jaarverslag 201 2. Nieuwe paden. 
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In tabel 3.4 toont het aantal opleidingsbeoordelingen, uitge- 
splitst naar BOB en UOB voor 201 2. Tabel 3.5 laat de uitkom- 
sten van deze beoordelingen zien. In de laatste tabel van deze 
paragraaf, tabel 3.6 geeft een overzicht van het aantal herstel- 
periodes en positieve beoordelingen onder voorwaarden. 

Tabel 3.4 

Totaal aantal aanvragen, uitgesplitst naartype 
beoordeling 

Afgehandeld per 31-12-12 





Totaal* 


Uitgebreide 


Beperkte 






opleidings- 


opleidings- 






beoordeling 


beoordeling 


Acer. 


335 


55 


111 


TNO 


55 


19 


22 



Bron: Jaarverslag 201 2. Nieuwe paden. 

* Het totaal is berekend over aanvragen in het nieuwe en oude stelsel. 
In de tabel is verder alleen het nieuwe stelsel opgenomen. 



Tabel 3.5 

Totaal aantal aanvragen, uitgesplitst naar uitkomst 

Afgehandeld per 31-1 2-1 2 





Totaal 


Positief 


Negatief 


Ingetrokken 


Herstel 


Onder vw 


Anders Aan vw voldaan 


Acer. 


335 


318 


1 


3 


12 




1 


TNO 


55 


29 


1 


10 




15 


(13) 



Bron: Jaarverslag 201 2. Nieuwe paden. 



Tabel 3.6 

Totaal aantal herstelperiodes / onder voorwaarden 
Afgehandeld per 31-1 2-1 2 





Totaal 


Herstel- 


Positief onder 


Positief onder 






periode (accr) 


vw (TNO) 


vw (ITK) 


2012 


29 


12 


15 


2 


2011 


9 


9 







Bron: Jaarverslag 201 2. Nieuwe paden. 



In tabel 3.6 is te zien dat het aantal herstelperiodes dat door de 
NVA0 werd toegekend tussen 201 1 en 201 2 is toegenomen, dit 
in lijn met de verwachtingen dat het openen van de mogelijk- 
heid tot 'herstel' kritischere oordelen mogelijk zou maken. De 
vraag of deze hersteltermijn ook daadwerkelijk tot verbetering 
van de kwaliteit leidt, kan nog niet worden beantwoord. 
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De invoering van deze herstelmogelijkheid is nog van te 
recente datum en de meeste opleidingen moeten nog opnieuw 
worden beoordeeld. De vraag is daarnaast of visitatiepanels 
na het verstrijken van de hersteltermijn bereid zullen zijn een 
negatief oordeel uitte spreken, maar ook op dit vlak is er op 
dit moment te weinig evidentie om een betrouwbare uitspraak 
te kunnen doen. De NVAO kan al wel vaststellen dat de 
hersteltermijn van maximaal 1 jaar die is gekoppeld aan een 
onvoldoende op de standaard 'gerealiseerd eindniveau' vaak 
te kort zal zijn om daadwerkelijk verbeteringen te kunnen 
realiseren én de effecten daarvan te kunnen beoordelen. 
In de hoofdstukken 6 en 7 wordt hier nader op ingegaan. 

3.4 /Verdeling van panelscores 

Sinds de invoering van het nieuwe accreditatiestelsel op 
1 januari 201 1 is tot 10 juli 2013 over 408 bestaande 
opleidingen een accreditatiebesluit genomen door de NVAO. 
Een opleiding kan één of meerdere varianten aanbieden: 
een voltijd, deeltijd en/of duale variant. Daarnaast worden 
eventuele meerdere locaties waarop een opleiding wordt 
aangeboden ook apart beoordeeld. Per opleidingsvariant en 
locatie wordt een apart oordeel door een commissie gegeven. 
In het overzicht van uitkomsten van beoordelingen van de 
opleidingen in Nederland wordt daarom over opleidings- 
varianten gesproken. In totaal zijn er 555 opleidingsvarianten 
in Nederland beoordeeld van in totaal dus 408 opleidingen; 
439 van deze opleidingsvarianten is aan de hand van de 
beperkte opleidingsbeoordeling beoordeeld, 1 1 6 opleidings- 
varianten op basis van een uitgebreide opleidingsbeoordeling. 
In dit hoofdstuk wordt de spreiding van de gegevens scores op 
de standaarden en op het eindoordeel besproken. De analyse 
in dit hoofdstuk is verder beperkt tot accreditatie van oplei- 
dingen, de beoordelingen bij de toets nieuwe opleiding zijn 
hier niet meegenomen aangezien het oordeel daar niet op 
de vierpuntsschaal wordt gegeven. 

3.4.1 / Beperkte opleidingsbeoordeling 

In het beperkte opleidingsbeoordelingskader worden opleiding 
beoordeeld op de drie standaarden zoals beschreven in 
hoofdstuk 2. 

In tabel 3.7 is de spreiding van de oordelen op de verschillende 
standaarden van de opleidingen beoordeeld volgens het 
beperkte opleidingsbeoordelingskader (BOB) weergegeven. 
Elke standaard kan door het panel worden gescoord met een 
onvoldoende (1 ), voldoende (2), goed (3) of excellent (4). 



Voor het bepalen van het eindoordeel zijn beslisregels van 
toepassing: het eindoordeel goed c.q. excellent wordt alleen 
gegeven indien ten minste twee van de drie standaarden als 
goed c.q. excellent wordt beoordeeld, waaronder in ieder geval 
standaard 3. Een onvoldoende op standaard 2 en/of standaard 
3 kan leiden tot het toekennen van een herstelperiode. Een 
onvoldoende op standaard 1 leidt te allen tijde tot een negatief 
besluit. 



Tabel 3.7 

Gemiddelde (M), standaardafwijking (SD) en verdeling 
van panelscores voor de BOB (n = 439*) 





M 


SD 


O 


V 


G 


E 


Standaard 1 


2,50 


0,56 


0% 


54% 


43% 


3% 


Standaard 2 


2,37 


0,59 


0% 


67% 


27% 


5% 


Standaard 3 


2,18 


0,50 


3% 


79% 


16% 


3% 


Eindoordeel 


2,17 


0,49 


3% 


81% 


14% 


3% 



* Alle scoretabellen van alle afzonderlijke varianten van iedere opleiding die is 
beoordeeld met het BOB-kader (t/m 10 juli 2013). 



De gemiddelde eindscore van de beperkte opleidingsbeoor- 
deling is 2,1 7 op de vierpuntschaal, iets hoger dan een de 
score 'voldoende'. Binnen de opleidingen beoordeeld met het 
BOB-kader zijn er meerdere opleidingen die op één of twee 
standaarden het oordeel goed of excellent krijgen met een 
eindoordeel voldoende. Een eindoordeel voldoende indien 
meerdere standaarden onvoldoende zijn, is niet mogelijk 
zonder dat het eindoordeel onvoldoende wordt. Logischerwijs 
is de spreiding binnen het eindoordeel het laagst (SD=0,49): 
voor het toekennen van een bepaalde score gelden beslis- 
regels. 

81 procent van de opleidingsvarianten heeft als eindoordeel 
een voldoende, 1 4 procent een goed. Zowel het aandeel oplei- 
dingsvarianten dat een onvoldoende als eindoordeel heeft, 
als het aandeel dat een excellent als eindoordeel heeft, is 
3 procent. Binnen de standaarden wordt standaard 1 het 
vaakst als goed beoordeeld (43 procent van de oordelen op 
standaard 1 ), gevolgd door standaard 2 (27 procent van de 
oordelen op standaard 2). Standaard 3 is de enige standaard 
die als onvoldoende wordt beoordeeld (3 procent van de 
oordelen op standaard 3). 

Standaard 1 is tot nog toe nooit als 'onvoldoende' beoordeeld, 
althans, niet de aanvragen die bij de NVAO binnenkomen. 
Dit komt wellicht omdat een onvoldoende op standaard 
1 automatisch een negatief eindoordeel betekent en geen 
herstelperiode toelaat. Alleen in geval een opleiding hierover 
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in bezwaar wil gaan, zal de opleiding een aanvraag met een Tabel 3.8 

onvoldoende op standaard 1 indienen. Standaard 1 heeft, Gemiddelde (M), standaardafwijking (SD) en verdeling 

logischerwijs, ook het hoogste gemiddelde (m = 2,50). De van panelscores voor de UOB (n=1 1 6*) 



grootste variatie in scores in te zien in standaard 2 (SD=0,59). 




M 


SD 





V 


G 


E 


^ta nrl a a rrl '-ï kpnt Hp laacJ^fp v^riatip fm~) — D SD 1 ) Hpt nprppn- 
















tage opleidingen met het eindoordeel goed ligt op 1 4 procent 


Standaard 1 


2,37 


0,50 


0% 


64% 


35% 


1% 


en het percentage opleidingen met het eindoordeel excellent 


Standaard 2 


2,35 


0,58 


1% 


67% 


28% 
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eindoordeel ligt, Logischerwijs, bij het eindoordeel voldoende. 


Standaard 3 


2,41 


0,54 


2% 


56% 


41% 


1% 




Standaard 4 


2,64 


0,58 


0% 


41% 


53% 


5% 


. ... 

3.4.2 / Uitgebreide opleidingsbeoordeung 
















Standaard 5 


2,53 


0,57 


1% 


48% 


48% 


3% 


In het uitgebreide opleidingsbeoordelingskader worden 


Standaard 6 


2,42 


0,53 


0% 


59% 


39% 


2% 


opleidingen beoordeeld op de zestien standaarden die werden 
















genoemd in hoofdstuk 2. 


Standaard 7 






0% 


1 00% 


0% 


0% 




Standaard 8 


2,41 


0,58 


2% 


58% 


38% 


3% 


In tabel 3.8 is de spreiding van de oordelen op de verschil- 
















lende standaarden van de opleidingen beoordeeld volgens het 


Standaard 9 


2,50 


0,58 


1% 


52% 


44% 


3% 


uitgebreide opleidingsbeoordelingskader (UOB) weergegeven. 


Standaard 10 


2,46 


0,57 


0% 


58% 


39% 


3% 


Elke standaard kan door het panel worden gescoord met een 
















onvoldoende (1 ), voldoende (2), goed (3) of excellent (4), 


Standaard 1 1 


2,59 


0,59 


1% 


44% 


51% 


4% 


behoudens standaard 7 waarvoor de scores voldoende en 


Standaard 12 


2,37 


0,52 


0% 


65% 


34% 


2% 


onvoldoende mogelijk zijn. Voor het bepalen van het eind- 
















oordeel zijn beslisregels van toepassing: het eindoordeel 


Standaard 13 


2,47 


0,52 


1% 


51% 


48% 


0% 


goed c.q. excellent wordt alleen gegeven indien ten minste de 


Standaard 14 


2,33 


0,47 


0% 


67% 


33% 


0% 


standaarden 1, 3, 6, 9, 1 3, 14, 1 5 en 1 6 als goed c.q. excellent 
















wordt beoordeeld. Een onvoldoende op één of meerdere 


Standaard 15 


2,34 


0,47 


0% 


66% 


34% 


0% 


standaarden kan leiden tot het toekennen van een herstel- 


Standaard 16 


2,28 


0,49 


2% 


69% 


29% 


0% 


periode. Een onvoldoende op standaard 1 leidt te allen tijde 
















tot een negatief besluit. 


Eindoordeel 


2,11 


0,39 


3% 


84% 


14% 


0% 



* Alle scoretabellen van alle afzonderlijke varianten van iedere opleiding die is 
beoordeeld met het UOB-kader (t/m 10 juli 2013). 



De gemiddelde eindscore van de uitgebreide opleidings- 
beoordeling is 2,1 1 op de vierpuntschaal, iets hoger dan een 
de score 'voldoende'. Het gemiddelde van alle standaarden is 
aanzienlijk hoger: 2,41. Binnen de opleidingen beoordeeld met 
het UOB-kader zijn er meerdere opleidingen die op één of 
twee standaarden het oordeel goed of excellent krijgen met 
een eindoordeel voldoende. Andersom komt ook voor: 
opleidingsvarianten die een op één of meerdere standaarden 
een onvoldoende scoren, met als eindoordeel voldoende. 
Logischerwijs is het gemiddelde van het eindoordeel dus 
het laagst en ook de spreiding het laagst (SD=0,39): voor 
het toekennen van een bepaalde score gelden beslisregels. 
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84 procent van de opleidingsvarianten heeft als eindoordeel 
een voldoende, 14 procent een goed. Het aandeel opleidings- 
varianten dat een onvoldoende als eindoordeel heeft, is 3 
procent. Binnen het UOB-kader is het eindoordeel excellent 
niet gegeven. 

Bij de uitgebreide opleidingsbeoordeling kan het volgende 
worden vastgesteld: 

> Standaard 7 is altijd als 'voldoende' beoordeeld door een 
commissie (standaard 7 is een formele vereiste). 

> Standaarden 1 4 en 1 5 zijn alleen als 'voldoende' of 'goed' 
beoordeeld door een panel. 

> Standaarden 1, 4, 6, 1 0, en 1 2 zijn nooit als 'onvoldoende' 
beoordeeld door een commissie. 

> Standaarden 1 3 en 1 6 zijn nooit als 'excellent' beoordeeld 
door een panel. 

Standaard 4 scoort gemiddeld het hoogst met een 2,64. 
Dit betekent dat aan standaard 4 gemiddeld de hoogste 
scores worden toegekend. De grootste spreiding is te vinden 
in standaard 1 1 (SD=0,59), wat betekent dat de oordelen op 
deze standaard het meest uiteenlopen. Standaard 1 6 heeft 
het laagste gemiddelde (m = 2,28), hieraan worden gemiddeld 
dus de laagste scores toegekend. De kleinste spreiding 
hebben, logischerwijs, de standaarden 1 4 en 1 5 (SD=0,47), 
omdat bij deze standaarden alleen de oordelen voldoende en 
goed zijn gegeven en de scores dus niet ver uiteenlopen. 

3.4.3 / Verschillen tussen evaluatiebureaus 

De beperkte opleidingsbeoordeling is uitgevoerd door vijf 
evaluatiebureaus en een aantal zelfstandige secretarissen 
(in dit onderzoek meegenomen als één groep). Uit de evaluatie 
blijkt dat er verschillen bestaan tussen evaluatiebureaus op 
de gegeven panelscores op alle standaarden en het eind- 
oordeel. Ook de uitgebreide opleidingsbeoordeling is uitge- 
voerd door alle evaluatiebureaus en een aantal zelfstandige 
secretarissen. Een analyse hiervan laat zien dat er verschillen 
tussen evaluatiebureaus bestaan op de gegeven panelscores 
van de standaarden 1, 2,4, 6,8, 9, 1 0, 1 2, 1 4, 1 6 en het eind- 
oordeel. De NVAO kan hier nog geen verdere conclusies aan 
verbinden. Aan de totstandkoming van deze verschillen 
kunnen verschillende oorzaak ten grondslag liggen: de 
verschillen kunnen verschillen in kwaliteit van opleidingen 
reflecteren, de verschillen kunnen tot stand zijn gekomen door 
de sectorverdeling tussen evaluatiebureaus, of de verschillen 
kunnen het gevolg zijn van een inconsistent gebruik van de 
beoordelingsschalen. 



3.4.4 / Verschillen tussen sectoren 

Daarnaast heeft de NVAO vastgesteld dat de beoordeling van 
opleidingen in clusters of visitatiegroepen binnen een domein 
leidt tot consistente oordelen, maar dat er tussen verschil- 
lende domeinen wel verschillen te zien zijn in de manier 
waarop panels beoordelen. De Technische Universiteit 
Eindhoven heeft onderzocht 12 in hoeverre de gegeven panel- 
scores binnen en tussen vakgebieden, en binnen en tussen 
verschillende universiteiten met elkaar verschillen. In dit 
onderzoek zijn de gegeven panelscores van de beoordeelde 
opleidingen van drie universiteiten (TU Eindhoven, TU Delft en 
Universiteit Twente) met elkaar vergeleken. Per vakgebied 
werden de opleidingen door eenzelfde visitatiecommissie 
beoordeeld. Uit dit onderzoek blijkt dat de verschillen in 
panelscores tussen de universiteiten binnen hetzelfde 
vakgebied (veel) kleiner zijn dan de verschillen binnen de 
universiteiten tussen de verschillende vakgebieden. 
Het is uit dit onderzoek echter niet duidelijk of die verschillen 
voortkomen uit een andere interpretatie van de norm, of 
dat die ontstaan door verschillen tussen de betreffende 
vakgebieden. 

3.5/Conclusie 

Uit het in de hoofdstuk gepresenteerde onderzoek naar de 
panelsamenstellingen is gebleken dat er een leereffect is 
opgetreden bij de voordrachten van panels door evaluatie- 
bureaus. Waar in 201 1 21 procent van de panelvoordrachten 
leidde tot aanvullende vragen en/of aanpassingen, was dit in 
201 2 nog drie procent. De NVAO signaleert evenwel dat de 
kwaliteit van de panels nog verder kan toenemen. De conclu- 
sies die de NVAO hierover het getrokken, heeft de NVAO met 
de evaluatiebureaus besproken. 

Zoals verwacht, laten de analyses zien dat het oordeel 
voldoende veruit het meest gegeven oordeel is bij bestaande 
accreditaties. Een onvoldoende eindoordeel komt in 3 procent 
van de gevallen voor bij zowel de BOB als de UOB. Het eindoor- 
deel excellent is bij de UOB nog niet gegeven. Op basis van de 
gegeven scores bij de UOB, concludeert de NVAO dat het lastig 
is een eindoordeel goed c.q. excellent te halen. De beslisregel 
bij deze beoordeling laat een eindoordeel goed of excellent 
alleen toe wanneer een vaste set van acht standaarden 
minimaal datzelfde oordeel heeft gekregen. 

12> H.M. Peters, Scores van TU opleidingen in onderwijsvisitaties (Technische 
Universiteit Eindhoven, z.d.). 
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Een belangrijke bevinding acht de NVAO de gevonden 
verschillen in de beoordeling tussen de evaluatiebureaus. 
In het volgende hoofdstuk wordt het onderzoek naar de 
kwaliteit van de door de panels gegeven beoordelingen 
besproken, evenals de kwaliteit van de visitatierapporten. 
Daar constateert de NVAO onder andere dat uit het onderzoek 
naar de onderbouwing van deze oordelen blijkt, dat er op dit 
punt géén verschillen zijn gevonden tussen de verschillende 
bureaus. De NVAO onderschrijft de gegeven oordelen dus 
onafhankelijk van het evaluatiebureau. Dit zou kunnen 
betekenen dat de gevonden verschillen voornamelijk toe te 
schrijven zijn aan daadwerkelijke kwaliteitsverschillen tussen 
opleidingen. Een van de doelstellingen van het nieuwe stelsel 
is de verschillen in kwaliteit tussen instellingen, opleidingen 
en sectoren zichtbaar te maken. Een voorzichtige conclusie 
die de NVAO op grond van de eerste ervaringen trekt, is dat 
deze verschillen ook zichtbaarder worden, maar dat er meer 
onderzoek nodig is naar de betrouwbaarheid van de oordelen 
en de gevonden verschillen tussen groepen opleidingen. 
De NVAO is dan ook voornemens dit verder te onderzoeken. 
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Hoofdstuk 4 

Kwaliteit van 
beoordelingen 
en visitatie- 
rapporten 



Hoe overtuigend beargumenteren 
visitatiepanels hun beoordelingen? 
Wat is de kwaliteit van de inhoud, 
opbouw, formulering en presentatie 
van visitatierapporten 'nieuwe stijl'? 

Dit hoofdstuk bespreekt de uitkomsten van verschillende 
onderzoeken die de NVAO heeft uitgevoerd, om deze vragen 
te beantwoorden. Deze uitkomsten leiden tot de conclusies 
(a) dat de NVAO de argumentatie van de visitatierapporten 
kritisch bekijkt; (b) dat ertussen verschillende standaarden 
van de BOB en UOB verschillen zijn in de mate waarin de 
beoordelingen overtuigend zijn beargumenteerd; (c) dat de 
NVAO in haar beoordeling van de argumentatie van visitatie- 
panels geen verschil maakt tussen evaluatiebureaus; 
en (d) dat vooral de kwaliteit van de samenvattingen van 
visitatierapporten beter kan. 

4.1 / Beoordeling van de argumentatie 
van panelscores 

Om de betrouwbaarheid en validiteit van haar oordelen te 
waarborgen, beoordeelt de NVAO bij iedere accreditatie- 
aanvraag in hoeverre de argumentatie van het panel over- 
tuigend is. Hierbij beoordeelt de NVAO de argumentatie van 
de panelscores als niet-overtuigend (=1), matig overtuigend 
(=2), of in orde (=3). De twee volgende paragrafen bespreken 
de beoordelingen van de argumentatie van de panelscores 
voor alleen de hoofdvarianten 13 van de opleidingen die zijn 
beoordeeld volgens de BOB- en UOB-kaders. Het gaat hierbij 
om accreditatieaanvragen die werden afgehandeld tot en 
met 15 april 201 3. 



4.1.1 / Beperkte opleidingsbeoordeling (BOB) 

De grootste variatie in de beoordeling van de panelscores door 
de NVAO is te vinden in standaard 3 (SD=0,37). In vergelijking 
met de variatie in de gegeven panelscores, is dit een opval- 
lende constatering. Standaard 3 is de enige standaard in de 
BOB waarbij de argumentatie in sommige gevallen als 'niet- 
overtuigend' wordt beoordeeld. Standaarden 1 en 2 worden 
alleen als 'matig overtuigend' of 'in orde' beoordeeld. Wanneer 
de argumentatie wordt beoordeeld als niet- of matig over- 
tuigend, is dit vrijwel altijd omdat de NVAO het oordeel niet 
navolgbaar acht; meestal omdat er te weinig argumenten 
werden aangetroffen voor een meer dan voldoende oordeel. 

Tabel 4.1 

Gemiddelde (M), standaardafwijking (SD) en verdeling 
van de beoordeling van de argumentatie van 
panelscores voor de BOB (n = 1 82*) 





M 


SD 


Niet- 


Matig 


In orde 








overtuigend overtuigend 




Standaard 1 


2,98 


0,15 




2% 


98% 


Standaard 2 


2,96 


0,20 




4% 


96% 


Standaard 3 


2,88 


0,37 


1% 


10% 


89% 


Eindoordeel 


2,94 


0,30 


2% 


2% 


96% 



* Selectie van alleen de hoofdvarianten van opleidingen die zijn beoordeeld 
met het BOB-kader (t/m 15 april 2013). 



4.1.2 / Uitgebreide opleidingsbeoordeling (UOB) 

Over de beoordeling van de argumentatie panelscores bij de 
UOB kan het volgende worden vastgesteld: 

> Standaarden 1 , 4, 6, 8, 1 1 , 1 2, 1 3, 1 4 en 1 5 zijn nooit als 
'niet-overtuigend' beoordeeld. 

> Standaard 5 is alleen als 'overtuigend' beoordeeld. 

> Standaarden 1, 8, en 9 zijn relatief vaak als 
'matig overtuigend' beoordeeld. 

De grootste variatie in de beoordeling van de panelscores 
door de NVAO is te vinden in standaarden 9 (SD=0,39) en 
1 6 (SD=0,53). Deze standaarden hebben ook de laagste 
gemiddelden (respectievelijk m = 2,86 en m = 2,77). 



13> Voor dit onderzoek definiëren heeft de NVAO per opleiding naar één 

variant of locatie gekeken. In de meeste gevallen is dit de voltijdse variant. 
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Tabel 4.2 

Gemiddelde (M), standaardafwijking (SD) en verdeling 
van de beoordeling van de argumentatie van 
panelscores voor de UOB (n = 62*) 





M 


SD Niet- 
overtuigend 


Matig 
overtuigend 


In orde 


Standaard 1 


2,90 


0,30 


0% 


10% 


90% 


Standaard 2 


2,93 


0,31 


2% 


3% 


95% 


Standaard 3 


2,97 


0,26 


2% 


0% 


98% 


Standaard 4 


2,95 


0,22 


0% 


5% 


95% 


Standaard 5 


3,00 


0,00 


0% 


0% 


100% 


Standaard 6 


2,93 


0,25 


0% 


7% 


93% 


Standaard 7** 












Standaard 8 


2,89 


0,32 


0% 


11% 


89% 


Standaard 9 


2,86 


0,39 


2% 


10% 


88% 


Standaard 10 


2,92 


0,38 


3% 


2% 


95% 


Standaard 1 1 


2,97 


0,18 


0% 


3% 


97% 


Standaard 12 


2,93 


0,25 


0% 


7% 


93% 


Standaard 13 


2,92 


0,28 


0% 


8% 


92% 


Standaard 14 


2,97 


0,18 


0% 


3% 


97% 


Standaard 15 


2,98 


0,13 


0% 


2% 


98% 


Standaard 16 


2,77 


0,53 


5% 


13% 


82% 


Eindoordeel 


3,00 


0,00 


0% 


0% 


100% 



* Selectie van alleen de hoofdvarianten van opleidingen die zijn beoordeeld 
met het BOB-kader (t/m 1 5 april 2013). 

* Standaard 7 (Studieomvang) heeft altijd de panelscore voldoende, en een 
argumentatie die de NVAO altijd als in orde beoordeelt. 



Concluderend kan worden gesteld dat de NVAO het vaakst 
aanvullende vragen stelt bij de argumentatie van de gegeven 
panelscore over de doelstellingen van opleidingen, de (kwaliteit 
van) docenten, toetsing en beoordeling en de gerealiseerde 
eindkwalificaties van de opleiding. 

Uit dit onderzoek blijkt dat er geen effect van de evaluatie- 
bureaus op de beoordeling van de argumentatie te zien is. Met 
andere woorden: er zijn tussen evaluatiebureaus geen signifi- 
cante verschillen, in de mate waarin de NVAO de argumentatie 
van panelscores beoordeelt als niet- of matig overtuigend. 



4.2 /Beoordeling van kwaliteit van 
visitatierapporten 

Met de invoering van het nieuwe stelsel kwamen er ook 
nieuwe richtlijnen voor de visitatierapporten (zoals een 
omvang van maximaal 25 pagina's, standaard een samenvat- 
tingvan circa twee pagina's). De nieuwe accreditatiewetgeving 
bepaalt verder, dat alleen door de NVAO gecertificeerde 
secretarissen mogen worden ingezet ter ondersteuning van 
de visitatiepanels. Voorwaarden voor certificering zijn onder 
andere deelname aan een initiële training en (halfjaarlijkse 
deelname aan intervisiebijeenkomsten bij de NVAO. 

Sinds het voorjaar van 201 2 voert de NVAO onderzoek uit naar 
de kwaliteit van visitatierapporten 'nieuwe stijl', waarbij de 
volgende onderzoeksvragen centraal staan: 

> In welke mate voldoen visitatierapporten 'nieuwe stijl' aan de 
verwachtingen van verschillende soorten lezers? 

> Hoe kan de tekstkwaliteit van visitatierapporten adequaat 
(d.w.z. accuraat, betrouwbaar, valide, en efficiënt) worden 
gemeten en beoordeeld? 

> Hoe zou de kwaliteit van visitatierapporten 'nieuwe stijl' 
verbeterd kunnen worden? 

Dit onderzoeksproject bestaat uit drie deelstudies. In de 
eerste deelstudie evalueerde een panel van 1 1 (aankomend) 
studenten de visitatierapporten van de eerste 1 1 volledig 
behandelde accreditatieaanvragen. In de tweede deelstudie 
beoordeelde een professioneel tekstschrijver/ neerlandicus 
dezelfde 1 1 visitatierapporten. De derde deelstudie maakt sinds 
mei 201 2 onderdeel uit van de behandeling van accreditatie- 
aanvragen: bij de analyse van iedere aanvraag beoordeelt de 
NVAO ook de tekstkwaliteit van het visitatierapport. 

Bij alle drie de deelstudies heeft de NVAO gebruik gemaakt 
van verschillende eigen adaptaties van het veel gebruikte en 
gevalideerde 'CCC-model voor de analyse van tekstkwaliteit' 
van Renkema (Schrijfwijzer, 201 2). Volgens dit model voldoet 
een goede tekst aan drie criteria: correspondentie (een goede 
afstemming tussen de doelen van de schrijver en de verwach- 
tingen van de lezer); consistentie (een goede afstemming 
tussen verschillende tekstdelen); en correctheid (een goede 
afstemming tussen enerzijds de tekst, en anderzijds de feiten 
en de regels van het taalsysteem). Volgens het model gelden 
deze criteria voor vijf verschillende 'niveaus': (a) Teksttype/ 
tekstsoort, (b) Inhoud, (c) Opbouw, (d) Formulering, toon & stijl, 
en (e) Presentatie & vormgeving. De volgende twee paragrafen 
bespreken de uitkomsten van de drie deelstudies. 
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4.2.1 / Het oordeel van (aankomend) studenten 
en de tekstschrijver 

De beoordelingen van de visitatierapporten van de eerste 

1 1 volledig behandelde aanvragen door het panel van 
(aankomend) studenten en door de tekstschrijver wezen op 
een aantal tekortkomingen in de kwaliteit van de teksten. 

Op basis hiervan kon de NVAO concrete aanbevelingen formu- 
leren ten aanzien van de samenvattingen; de volledigheid en 
consistentie van de inhoud van de rapporten; de samenhang, 
opbouw en structuur van de tekst; de formulering, toon en 
stijl; en de presentatie en vormgeving. 

De NVAO heeft deze aanbevelingen gecommuniceerd in een 
overleg met de evaluatiebureaus (1 april 201 2). Daarnaast 
heeft de NVAO deze aanbevelingen verwerkt in de training van 
nieuwe secretarissen Ook heeft de NVAO deze aanbevelingen 
gepresenteerd aan de deelnemers van de twee intervisie- 
bijeenkomsten voor externe secretarissen (op 24 mei en 

12 december 201 2). 

4.2.2 / Het oordeel van NVAO- 
beleidsmedewerkers 

Als onderdeel van het accreditatieproces bij opleidings- 
beoordelingen (BOB en UOB), beoordeelt de NVAO de tekst- 
kwaliteit van de visitatierapporten. Hiervoor heeft de NVAO 
een eigen beoordelingsinstrument ontwikkeld, dat is geba- 
seerd op het CCC-model voor de analyse van tekstkwaliteit 
van Renkema (Schrijfwijzer, 201 2). De NVAO kijkt vooral naar 
de kwaliteit van de inhoud, formulering, opbouw, en presen- 
tatie en vormgeving van de visitatierapporten, leder aspect 
wordt gescoord als onvoldoende (=1), voldoende (=2) of goed 
(=3). De NVAO heeft de kwaliteit van 83 visitatierapporten met 
elkaar vergeleken en komt tot de volgende conclusies: 

Bij alle aspecten van de vragenlijst wordt de volledige schaal 
gebruikt, al is de verdeling wel scheef en gepiekt: 7 procent 
van de scores is 'onvoldoende, bijna driekwart van de scores is 
'voldoende', en 20 procent is 'goed'. De kleinste spreiding is in 
de beoordeling van 'Formulering, toon & stijl (SD=0,46). De 
grootste spreiding bestaat in de beoordeling van 'Voldoende 
(overtuigende) informatie (SD=0, 56). 'Presentatie en vorm- 
geving' scoort het hoogste meteen gemiddelde van 2,28. 
De 'Kwaliteit van de samenvatting' scoort het laagst met een 
gemiddelde van 2,01. De items van het beoordelingsinstrument 
die betrekking hebben op de kwaliteit van de inhoud (items 7, 8, 
en 9) worden relatief laag gescoord: 10-1 1 procent wordt 
beoordeeld als 'onvoldoende'. 



Uit de analyse blijkt dat er significante verschillen zijn 
tussen evaluatiebureaus in de scores voor 'Formele vereisten', 
'Voldoende (overtuigende) informatie', 'Kwaliteit van de 
samenvatting' en 'Geschiktheid'. Waar deze verschillen 
precies in liggen, zal nog verder worden onderzocht. 

Tabel 4.3 

Gemiddelde (M), standaardafwijking (SD) en verdeling 
van de beoordeling van de tekstkwaliteit van 
visitatierapporten (n=83*) 



Item 


Kwaliteitsaspect 


M 


SD 


O 


V 


G 


1 


Formele vereisten 


2,13 


0,46 


5% 


77% 


18% 


2 


Correct taalgebruik 


2,13 


0,54 


8% 


70% 


22% 


3 


Presentatie & 
vormgeving 


2,28 


0,48 


1% 


69% 


30% 


4 


Formulering, toon & 
stijl (algemeen) 


2,16 


0,46 


4% 


77% 


20% 


5 


Consistente opbouw & 
structuur 


2,16 


0,49 


5% 


74% 


21% 


6 


Samenhang & 
argumentatie 


2,15 


0,53 


7% 


70% 


22% 


7 


Juistheid & 
controleerbaarheid 


2,07 


0,52 


10% 


73% 


17% 


8 


Inhoudelijk consistentie 


2,09 


0,54 


10% 


70% 


19% 


9 


Voldoende (overtuigende) 
informatie 


2,10 


0,56 


11% 


68% 


21% 


10 


Kwaliteit van de 
samenvatting 


2,01 


0,48 


11% 


77% 


12% 


11 


Geschiktheid 


2,13 


0,49 


6% 


74% 


20% 




Totaal 


2,08 


0,26 


7% 


73% 


20% 
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4.3 /Conclusie 

Het valideren van de oordelen van visitatiepanels is de kern- 
taak van de NVAO. Hiertoe beoordeelt de NVAO de kwaliteit 
van ieder visitatierapport, en dan vooral ook van de onder- 
bouwing van de gegeven scores voor iedere standaard van de 
beoordelingskaders. De onderzoeksresultaten in dit hoofdstuk 
laten zien, dat de NVAO de beoordelingen van de visitatie- 
panels niet zonder meer volgt. Bij twijfel over een gegeven 
panelscore, verzoekt de NVAO het panel of de instelling om 
(schriftelijk of in een gesprek) aanvullende informatie te 
verschaffen. Op deze wijze borgt de NVAO mede de betrouw- 
baarheid, validiteit en zorgvuldigheid van de onafhankelijke 
externe beoordeling. Opvallend is dat de NVAO vooral alert is 
op de navolgbaarheid van de oordelen bij die standaarden van 
de beoordelingskaders, die focussen op de inhoud en de 
resultaten van het onderwijs. In het algemeen kijkt de NVAO 
extra scherp naar de argumentatie, wanneer visitatiepanels 
een opleiding op een (of meerdere) standaard(en) beoordelen 
als meer-dan-voldoende. Daarmee versterkt de NVAO het 
vertrouwen dat panelscores ook daadwerkelijke verschillen 
in onderwijskwaliteit tussen opleidingen representeren. 

Sinds een jaar beoordeelt de NVAO bij iedere accreditatie- 
aanvraag niet alleen de argumentatie van panelscores, maar 
ook de tekstkwaliteit van het visitatierapport. In de beleving 
van beleidsmedewerkers en bestuurders van de NVAO, voegt 
dit een extra dimensie toe aan de behandeling van accreditatie- 
aanvragen. Voorheen was het soms lastiger om de vinger op de 
zere plekte leggen als een visitatierapport tekortkomingen 
vertoonde. Maar ook de voorbeeldige visitatierapporten waren 
lastiger te signaleren. Periodiek analyseert de NVAO deze 
beoordelingen van de visitatierapporten, om de aanbevelingen 
te communiceren in overleggen met de evaluatiebureaus, 
en in de trainingen en intervisiebijeenkomsten voor externe 
secretarissen. Op deze manier draagt de NVAO bij aan de 
kwaliteitswaarborging binnen het accreditatiestelsel. 

De inspanningen van de NVAO bij het beoordelen van de kwali- 
teitvan de visitatierapporten, dienen ertoe bij te dragen dat 
de kwaliteit, leesbaarheid en inzichtelijkheid van de rapporten 
en besluiten wordt vergroot. Daarnaast draagt ook de door 
commissies zelf geschreven samenvatting bij aan het 
vergroten van de inzichtelijkheid en leesbaarheid. Deze 
samenvatting wordt namelijk integraal opgenomen in de 
besluiten waardoor de kwaliteit van de besluiten is verbeterd. 

ENQA waardeert dit initiatief en de vergroting van de lees- 
baarheid van besluiten die dit met zich mee heeft gebracht. 



De NVAO ziet erop toe de kwaliteit van deze samenvattingen 
nog te verbeteren, onder andere door middel van de jaarlijkse 
opleidingen van secretarissen. 

Het volgende hoofdstuk bespreekt de eerste ervaringen van 
de directe betrokkenen: instellingen, docenten, beoordelaars. 
Hoe zien zij het functioneren van het nieuwe stelsel? Ook komt 
een aantal externe evaluatieonderzoeken aan bod, en de 
vraag wat voor de NVAO de belangrijkste uitkomsten van die 
onderzoeken zijn. 



40 /NVAO Evaluatie accreditatiestelsel Nederland 2011-2013 



NVAO Evaluatie accreditatiestelsel Nederland 201 1-2013/41 



Hoofdstuk 5 

Ervaringen van 
stakeholders 



Hoe ervaren de instellingen en docenten 
de verschillende typen beoordelingen? 
Hoe tevreden zijn de instellingen en 
docenten met de werkzaamheden en 
procedures van de NVAO? Wat vinden 
de voorzitters van de auditcommissies 
van de instellingstoets kwaliteitszorg? 
Hoe beoordeelt de European Association 
for Quality Assurance in Higher Education 
(ENQA) de NVAO? 

Dit hoofdstuk bespreekt de uitkomsten de door de NVAO en 
extern in opdracht van de NVAO uitgevoerde evaluaties van de 
tevredenheid onder stakeholders. Deze uitkomsten leiden tot 
de conclusies: (a) dat instellingen en docenten over het alge- 
meen tevreden zijn over de instellingstoets kwaliteitszorg en 
de opleidingsbeoordelingen; (b) dat docenten tevreden tot 
zeer tevreden zijn over de inhoudelijke focus van de beperkte 
opleidingsbeoordeling, maar dat deze toets niet tot een 
vermindering van inspanning of administratieve lasten heeft 
geleid; (c) dat de commissievoorzitters van de instellingstoets 
kwaliteitszorg positief zijn over deze toets en dat zij een 
voornaamste aandachtspunt zien in de consistentie van de 
uitgevoerde beoordelingen; en (d) dat de NVAO voldoet aan 
de European Standards and Guidelines van de European 
Association for Quality Assurance in Higher Education (ENQA). 

Tabel 5.1 

Uitkomsten vragenlijst ervaringen TNO (in %, vijfpuntsschaal) 

De aanwijzingen ter Het besluit van de Het besluit geeft 

voorbereiding van NVAO is zorgvuldig een correct beeld 

de aanvraag TNO genomen van de kwaliteit 

(op de website) van de opleiding 

waren voldoende 
duidelijk 



5.1 / Ervaringen van instellingen 

5.1.1 / Ervaringen met toets nieuwe opleiding 

De NVAO heeft tussen augustus 201 1 en april 201 3 naar 
1 1 3 contactpersonen van afgeronde TNO's een vragenlijst 
opgestuurd met als doel te evalueren in hoeverre zij tevreden 
zijn met de toets nieuwe opleiding. Bijzondere aandacht ging 
daarbij uit naar de specifieke taken van de NVAO. Deze 
vragenlijst is door 53 respondenten ingevuld. 



Uit tabel 5.1 blijkt dat de respondenten tevreden tot zeer 
tevreden zijn met de verschillende aspecten van de TNO. 
77 procent van de respondenten vindt de aanwijzingen ter 
voorbereiding van de aanvraag TNO voldoende helder. 
85 procent van de respondenten geeft aan dat het besluit van 
de NVAO zorgvuldig is genomen en 83 procent vindt dat dit 
besluit een correct beeld geeft van de kwaliteit van de oplei- 
ding. Negentig procent vindt het besluit leesbaar, 87 procent 
vindt de communicatie met de NVAO correct en 89 procent van 
de respondenten vindt dat de gehele procedure zorgvuldig is 
verlopen. 



Het besluit is 
leesbaar voor alle 
betrokkenen bij 
de opleiding 



De communicatie 
met de NVAO was 
correct 



De gehele 
procedure is 
zorgvu ld ig verlopen 



Helemaal oneens 
Oneens 
Neutraal 
Eens 

Helemaal eens 



6 
17 
64 
13 



4 
9 
43 
42 



9 
8 
43 
40 



4 
6 
47 
43 



4 
9 
40 
47 



6 
6 
51 
38 



Gemiddelde score 3,8 4,2 4,1 4,3 4,3 4,2 



Bron: Enquête evaluatie TNO 
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In de vragenlijst was ook ruimte voor de respondenten om 
gegeven scores toe te lichten. De belangrijkste opmerkingen 
hierbij gingen over (a) positieve ervaringen met de NVAO t.a.v. 
deskundigheid en zorgvuldigheid; (b) de (on)duidelijkheid en 
hoeveelheid van het aanleveren van bijkomende documenten; 
en (c) de (te) lange doorlooptijd en onduidelijkheid hierover. 

5.1.2/ Ervaringen met opleidingsbeoordelingen 

Sinds het voorjaar van 201 3 is de NVAO ook begonnen met het 
evalueren van de ervaringen van instellingen met opleidings- 
beoordelingen (bestaande accreditaties). Bijzondere aandacht 
ging daarbij uit naar de specifieke taken van de NVAO. De 
vragenlijst is naar twaalf contactpersonen van instellingen 
verstuurd, 10 hebben de vragenlijst ingevuld. Deze (eerste) 
resultaten zijn dus niet representatief voor het gehele hoger 
onderwijs, maar geven een eerste indicatie van de ervaringen. 



Tabel 5.2 laat zien de respondenten over het algemeen 
tevreden zijn met de werkzaamheden van en communicatie 
door de NVAO. Het hoogst scoren de aanwijzingen ter 
voorbereiding op het indienen van de aanvraag en de zorg- 
vuldigheid bij het nemen van besluiten (beiden 90 procent 
eens). Tachtig procent van de respondenten vindt dat de 
besluiten een correct beeld van de kwaliteit van de oplei- 
dingen geven en hetzelfde percentage vindt de besluiten 
goed leesbaar. 

Ook de communicatie met de NVAO wordt door 80 procent 
als correct beschouwd. Zeventig procent vindt de gehele 
procedure zorgvuldig verlopen. 



Tabel 5.2 



Uitkomsten vragenlijst ervaringen opleidingsbeoordelingen (in %, vijf puntsschaal) 





De aanwijzingen ter 


De besluiten van 


De besluiten geven 


De besluiten zijn 


De communicatie 


De gehele 




voorbereiding op 


de NVAO over de 


een correct beeld 


goed leesbaar voor 


met de NVAO 


procedure Aanvraag 




het indienen van 


accreditatie van 


van de kwaliteit 


alle betrokkenen 


tijdens de beoorde- 


om accreditatie 




de aanvraag om 


opleidingen van uw 


van de opleidingen 


van de opleidingen 


lingvan de panel- 


verloopt zorgvuldig 




accreditatie van 


instelling worden 




en de instelling 


samenstelling en de 






opleidingen zijn 


zorgvuldig genomen 






behandeling van en 






voldoende duidelijk 








de besluitvorming 














over de aanvragen 














om accreditatie is 














correct 




Helemaal oneens 














Oneens 


10 




10 




10 




Neutraal 




10 


10 


20 


10 


30 


Eens 


90 


90 


70 


80 


80 


70 


Helemaal eens 






10 








Gemiddelde score 


3,8 


3,9 


3,8 


3,8 


3,7 


3,7 



Bron: Enquête evaluatie opleidingsbeoordelingen 
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5.2 / Ervaringen van docenten 

Via een enquête onder docenten is nagegaan wat de eerste 
ervaringen zijn in het Nederlands hoger onderwijs met de 
beperkte opleidingsbeoordeling (BOB) als onderdeel van de 
accreditatie. Speciale aandacht ging hierbij uit naar de 
betrokkenheid van docenten bij de BOB. Een van de doelstel- 
lingen van het nieuwe stelsel is om de docenten weer meer 
eigenaar te maken van de evaluatie van het onderwijs. Accre- 
ditatie moet immers ook een gesprek zijn tussen peers en 
docenten over de kwaliteit van het onderwijs. De resultaten 
zijn verzameld bij 234 docenten aan 23 opleidingen. De 
resultaten geven daarom slechts een indruk van de eerste 
ervaringen met de BOB en de betrokkenheid daarbij. 
De NVAO ontwikkelde voor de enquête een vragenlijst die de 
ervaring met en het oordeel over de nieuwe accreditatie- 
methode meet. Deze vragenlijst is uitgezet onder docenten 
van opleidingen die de beperkte opleidingsbeoordeling (BOB) 
hebben ondergaan. De BOB kan in drie onderdelen worden 
opgedeeld: de zelfevaluatie, de visitatie en het beoordelings- 
rapport (en besluit NVAO). Deze drie onderdelen zijn apart 
geëvalueerd en daarnaast zijn ook vragen gesteld over de BOB 
als geheel. Tevens is bij de evaluatie onderscheid gemaakt 
tussen docenten met en docenten zonder eerdere visitatie- 
ervaring. 



Van de ondervraagde docenten die betrokken zijn geweest bij 
het opstellen van de zelfevaluatie, geeft een ruime meerder- 
heid aan dat het (zeer) goed gelukt is om de evaluatie te 
beperken tot dat wat nodig is voor de BOB (Tabel 5.2). 

Figuur 5.2 

Is het gelukt om de zelfevaluatie te beperken tot dat 
wat nodig is voor die beperkte beoordeling? (%)* 



0% 20% 40% 60% 80% 100% 

| Geheel niet/in beperkte mate | In redelijke mate | (Zeer) goed | Weetniet 



Bron: Enquête evaluatie BOB. n=99 

* Indien betrokken of (zeer) nauw betrokken geweest bij opstellen zelfevaluatie 



5.2.1 / De zelfevaluatie 



De docenten zien de zelfevaluatie duidelijk als een product 
van docenten en opleidingsmanagement samen. 84 procent 
van de docenten vindt het zelfevaluatierapport objectief, 
valide, zelfkritisch en volledig. Niet alle docenten zijn daad- 
werkelijk betrokken geweest bij de totstandkoming van het 
zelfevaluatierapport. Onder docenten met eerdere visitatie- 
ervaring is de betrokkenheid bij de totstandkoming van het 
zelfevaluatierapport groter (61 procent) dan onder docenten 
zonder eerdere visitatie-ervaring (27 procent) (ziefiguur 5.1). 

Figuur 5.1 

Betrokken geweest bij opstellen zelfevaluatie?* 



20% 40% 60% 80% 100% 



Ervaring 
Geen ervaring 



Niet/weinig betrokken 



(Zeer) nauw betrokken 



Bron: Enquête evaluatie BOB. n(ervaring)=109, n(geen ervaring)=125 
* Significante verschillen (p<0,05) 
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5.2.2/ De visitatie 



De kwaliteit van visitatiecommissies staat buiten kijf: vrijwel 
geen enkele respondent is negatief over aspecten als inhoude- 
lijke deskundigheid, kennis van het werkveld en objectiviteit. 
Het merendeel van de docenten vindt dat de commissie 
voldoende tot (zeer) veel aandacht besteedde aan een vijftal 
hoofdaspecten uit het beoordelingskader (tabel 5.3). De 
hoeveelheid aandacht voor 'toetsen en beoordelen' en voor 
'gerealiseerd niveau studenten' wordt door vrijwel geen van de 
respondenten als weinig bevonden. Bij de overige aspecten 
(doelstellingen en inhoud van de opleiding, kwaliteit van de 
docenten) is de groep die vindt dat er weinig of geen aandacht 
voor was, iets groter. De groep respondenten met eerdere 
visitatie-ervaring weet duidelijk vaker of er aandacht besteed 
is aan de genoemde aspecten dan de groep zonder eerdere 
visitatie-ervaring. 

Tabel 5.3 

In hoeverre besteedde het panel tijdens de recente visitatie aandacht aan de volgende aspecten, naar ervaring met 
eerdere visitaties? (%) 

Doelstellingen van Inhoud van Toetsen en Gerealiseerd niveau Kwaliteit van 

de opleiding* de opleiding* beoordelen* van studenten* docenten* 



Eerdere ervaring? 


Ja 


Nee 


Ja 


Nee 


Ja 


Nee 


Ja 


Nee 


Ja 


Nee 


Helemaal niet/weinig 


6 


7 


6 


6 


1 






3 


5 


10 


Niet veel/niet weinig 


19 


11 


17 


11 


6 


10 


6 


9 


25 


14 


(Zeer) veel 


53 


41 


61 


49 


78 


64 


77 


58 


51 


38 


Weet niet 


22 


41 


16 


34 


15 


26 


17 


30 


19 


38 


Totaal (n=100%) 


109 


125 


109 


125 


109 


125 


109 


125 


109 


125 



Bron: Enquête evaluatie BOB 

* Significante verschillen (p<0,05) 
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Een kernvraag is of docenten bij de nieuwe BOB meer 
betrokken zijn in vergelijking met de oude werkwijze (tabel 
5.4). De docenten met ervaring met de oude werkwijze lijken 
daarvan niet allemaal overtuigd; 32 procent is het (zeer) eens 
met de stelling dat de betrokkenheid is toegenomen, en 35 
procent vindt dat de betrokkenheid niet is veranderd. Verder is 
38 procent van de docenten het (zeer) oneens met de stelling 
dat de recente visitatie minder tijd heeft gekost, een kwart is 
van mening dat de visitatie evenveel tijd heeft gekost en even- 
eens een kwart vindt dat de nieuwe BOB minder tijd heeft 
gekost. Het meest positief zijn docenten over het feit dat de 
BOB meer dan de oude werkwijze gericht is op de inhoud van 
het onderwijs; 46 procent is het daarmee (zeer) eens. Ook is 
per saldo de waarneming dat de BOB inhoudelijk meer was 
toegespitst op het eigen vak/de eigen opleiding. 

Tabel 5.4 



Beoordeling recente visitatie in vergelijking 


met eerdere ervaringen (%)* 








Nieuwe visitatie is meer 
gericht op de inhoud 
van het onderwijs 


De recente visitatie 
ging meer over 
mijn vak/opleiding 


De docenten waren 
meer betrokken 


De recente visitatie 
kostte mij minder tijd 


(Zeer) oneens 


12 


21 


22 


38 


Niet eens/niet oneens 


28 


35 


35 


26 


(Zeer) eens 


46 


30 


32 


24 


Weet niet 


15 


14 


11 


13 


Totaal (n=1 00%) 


109 


109 


109 


109 



Bron: Enquête evaluatie BOB 

* Alleen indien ervaring met eerdere visitaties 



53 procent van de respondenten was bij de recente 
opleidingsbeoordeling gesprekspartner van de visitatie- 
commissie. De visitatiecommissie spreekt docenten bijna 
allemaal op invitatie; het open spreekuur speelt een zeer 
beperkte rol en geniet ook een geringe bekendheid (59 procent 
van de docenten weet niet van het bestaan). Het gebruik van 
dit spreekuur zou kunnen groeien bij een grotere bekendheid: 
9 procent van de respondenten geeft aan zeker of waarschijn- 
lijk gebruik te hebben gemaakt van dit spreekuur als men van 
het bestaan had geweten. 
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5.2.3/ Het beoordelingsrapport 



Het beoordelingsrapport van de visitatiecommissie wordt door 
het merendeel van de docenten als (zeer) goed beschouwd (67 
procent). Bijna geen enkele docent beoordeelt de herkenbaar- 
heid, de bruikbaarheid, het kritisch karakter en de leesbaar- 
heid als onvoldoende: 64 procent vindt het eindrapport (zeer) 
goed bruikbaar, 68 procent vindt het eindrapport (zeer) kritisch 
en 57% vindt het rapport goed tot zeer goed leesbaar (Tabel 
5.5). Slechts een enkeling is ontevreden over inhoudelijke 
aspecten van het eindrapport. 



Tabel 5.5 



Hoe beoordeelt u de inhoud van het eindrapport van de visitatiecommissie? (%) 








Herkenbaarheid 


Bruikbaarheid 


Kritisch karakter 


Leesbaarheid 


(Zeer) slecht 


3 


3 


1 


1 


Niet slecht/niet goed 


15 


15 


15 


17 


(Zeer) goed 


67 


64 


68 


57 


Weet niet 


16 


18 


17 


25 


Totaal (n=1 00%) 


185 


185 


185 


185 



Bron: Enquête evaluatie BOB 

* indien bekend met het eindoordeel 



5.2.4/ De BOB als geheel 

Docenten beschouwen de BOB als stimulerend en niet 
bedreigend. Ook beschouwen de docenten de BOB als een 
verbetering ten opzichte van de oude werkwijze. De meerder- 
heid van de docenten geeft aan dat zij de BOB ervaren als het 
moeten afleggen van verantwoording, 23 procent van de 
docenten met eerdere visitatie-ervaring vindt dat dit is toege- 
nomen ten opzichte van het oude stelsel. De meerderheid van 
de docenten ervaart de BOB als bureaucratisch, 45 procent 
van de docenten met eerdere visitatie-ervaring geeft aan dat 
dit is toegenomen in vergelijking met het oude stelsel. 58 
procent van de docenten vindt dat de visitatie 'nieuwe stijl' 
evenveel of meer bijdraagt aan de onderwijskwaliteit 
(tabel 5.6). 
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Tabel 5.6 



Hoe heeft u de visitatie 'nieuwe stijl' ervaren in vergelijking 


\ met eerdere visitaties? {%)* 








Bedreigend 


Stimulerend 


Verantwoording 
moeten afleggen 


Bureaucratisch 


Bijdrage aan 
onderwijskwaliteit 


(Veel) minder 


31 


6 


14 




4 


28 


Evenveel 


46 


39 


49 




39 


43 


(Veel) meer 


8 


42 


23 




45 


15 


Weet niet 


15 


13 


15 




13 


15 


Totaal (n=1 00%) 


109 


109 


109 




109 


109 



Bron: Enquête evaluatie BOB 

* Alleen indien ervaring met eerdere visitaties 



De docenten geven tevens aan dat zij (nog) meer aandacht 
willen voor onderwijsverbetering en gerealiseerd niveau. In het 
algemeen voelt de meerderheid van de docenten zich in eniger 
mate betrokken bij de opleidingsbeoordeling (totaal ho: 71 
procent). 

Ten slotte is in de enquête aan de docenten gevraagd welke 
accentverschuivingen en verbeteringen naar hun mening 
nodig zijn in de nieuwe beperkte opleidingsbeoordeling. 
Daaruit volgen twee belangrijke bevindingen. 

Ten eerste vinden de respondenten dat er meer aandacht 
nodig is voor verbetering van het onderwijs; slechts één 
procent wil hier minder aandacht voor en 55 procent van de 
respondenten zonder en 66 procent van de respondenten met 
eerdere visitatie-ervaring wil (veel) meer aandacht voor onder- 
wijsverbetering. Ook bij het 'gerealiseerd niveau' is het beeld 
dat een flinke groep respondenten (39 procent zonder eerdere 
visitatie-ervaringen, 43 procent met eerdere visitatie- 
ervaringen) hier meer of veel meer aandacht voor wil. 
Het accent op ranking en in mindere mate controle mag 
volgens veel respondenten juist minder. 



Vervolgens is in de vragenlijst nader gevraagd naar het oordeel 
over het beoordelingskader en in hoeverre het visitatiepanel 
zich daaraan houdt. Bij deze vragen is met name onder de 
groep respondenten zonder eerdere ervaring met visitaties een 
flink deel (42 tot 61 procent) dat 'weet niet' antwoordt. Opval- 
lend is dat ook van de respondenten met eerdere ervaring met 
visitaties 34 procent antwoordt 'weet niet' op de stelling dat 
het kader voor BOB voldoende helder aangeeft welke infor- 
matie door het visitatiepanel wordt verlangd. Het lijkt erop dat 
de bekendheid met het kader voor BOB nog niet bij alle 
docenten aanwezig is. De meeste respondenten die wel een 
oordeel hebben, vinden dat het panel zich beperkte tot de voor 
de BOB relevante zaken. Daarnaast vindt de meerderheid dat 
de BOB niet te smal is. 
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Tabel 5.7 

Oordeel over beperkte opleidingsbeoordeling, naar ervaring met eerdere visitaties (%) 



Panel beperkte zich BOB is zo smal dat Kader voor BOB geeft BOB leidt tot verlaging 

tot de voor de BOB het weinig zegt voldoende helder aan welke van accreditatielast* 
relevante zaken* over opleiding* informatie verlangd wordt 

door visitatiepanel* 



Eerdere ervaring? 


Ja 


Nee 


Ja 


Nee 


Ja 


Nee 


Ja 


Nee 


(Zeer) oneens 


6 


2 


56 


35 


4 


1 


25 


13 


Niet eens/niet oneens 


16 


11 


14 


14 


14 


16 


19 


18 


(Zeer) eens 


57 


38 


14 


9 


49 


22 


33 


17 


Weet niet 


22 


48 


17 


42 


34 


61 


23 


53 


Totaal (n=1 00%) 


109 


125 


109 


125 


109 


125 


109 


125 



Bron: Enquête evaluatie BOB 

* Significante verschillen (p<0,05) 



In dit onderdeel van de vragenlijst is ook meegenomen of de 
BOB (per saldo) leidt tot een verlaging van de accreditatielast. 
In vergelijking met de hiervoor weergegeven algemene 
oordelen over het afleggen van verantwoording en de bureau- 
cratie, zijn hier de antwoorden wat minder uitgesproken. De 
groep respondenten (zowel met als zonder eerdere visitatie- 
ervaring) die vindt dat de beperkte opleidingsbeoordeling leidt 
tot een verlaging van de accreditatielast is iets groter dan de 
groep die het hiermee oneens is. 
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Tabel 5.8 

Uitkomsten vragenlijst ervaringen ITK (in %, vijfpuntsschaal) 





Het bestuurlijk 


De aanwijzingen 


Het besluit van 


Het commissie- 


Het commissie- 


De communi- 


Werkwijze van 




overleg gaf een 


ter voorbereiding 


de NVAO is zorg- 


advies en het 


advies en het 


catie met de 


de commissie en 




goed inzicht in 


van de aanvraag 


vuldig genomen 


NVAO besluit 


NVAO besluit 


NVAO was 


de inrichting van 




de doelstellingen 


Instellingstoets 




geven een 


zijn leesbaar 


correct en de 


de beoordeling 




en het verdere 


kwaliteitszorg 




correct beeld 


vooralle betrok- 


beoordeling is 


waren zorgvuldig 




verloop van de 


via de NVAO 




van het kwali- 


kenen bij de 


volgens 






Instellingstoets 


website en de 




teitsbeleid en de 


instelling 


afspraken 






kwaliteitszorg 


NVAO proces- 




interne kwali- 




verlopen 








coördinator 




teitszorg van de 












waren voldoende 




instelling 












duidelijk 












Helemaal oneens 
















Oneens 


9 






18 




9 


18 


Neutraal 


9 


9 


36 


18 




27 


9 


Eens 


55 


64 


55 


46 


82 


45 


64 


Helemaal eens 


18 


27 




9 




9 


9 


n.v.t 


9 




9 


9 


18 


9 




Gemiddelde score 


3,9 


4,2 


3,6 


3,5 


4,0 


3,6 


3,6 



Bron: Enquête evaluatie ITK 



5.3 /Ervaringen stakeholders ITK 

5.3.1 / Ervaringen van instellingen 

De NVAO heeft in het voorjaar van 201 3 naar 1 2 contact- 
personen van afgeronde ITK's een vragenlijst opgestuurd 
met als doel te evalueren in hoeverre zij tevreden zijn met 
de instellingstoets kwaliteitszorg. Bijzondere aandacht ging 
daarbij uit naar de specifieke taken van de NVAO. Deze 
vragenlijst is door 1 1 respondenten ingevuld. 

Uit tabel 5.7 blijkt dat 73 procent van de respondenten vindt 
dat het bestuurlijk overleg een goed inzicht gaf in de doelstel- 
lingen en het verdere verloop van de ITK en een even groot 
percentage vindt de werkwijze van de commissie en de inrich- 
tingvan de beoordeling zorgvuldig. 91 procent van de respon- 
denten vindt de aanwijzingen van de NVAO ter voorbereiding 
op de ITK voldoende duidelijk. 82 procent van de respon- 
denten vindt het commissieadvies en het besluit van de NVAO 
leesbaar voor alle betrokkenen. 



Uit deze evaluatie komen drie aandachtspunten naar voren: 
(1) 55 procent van de respondenten vindt dat het besluit van 
de NVAO zorgvuldig is genomen; (2) 55 procent vindt dat het 
commissieadvies en het besluit van de NVAO een correct 
beeld geven van de instelling, 1 8 procent vindt van niet; en (3) 
55 procent van de respondenten vindt de communicatie met 
de NVAO correct en vindt dat de beoordeling volgens 
afspraken is verlopen, 9 procent vindt van niet. 

n de vragenlijst was ook ruimte voor de respondenten om 
gegeven scores toe te lichten. De gegeven opmerkingen waren 
verschillend van aard. Een aantal voorbeelden: één van de 
respondenten gaf aan dat het veranderingsproces waar de 
instelling in zat geen probleem leek voor de toets, maar dat 
bleek het uiteindelijk wel te zijn. Ook gaf één van de respon- 
denten aan het advies meer een organisatieadvies te vinden 
dan een advies over kwaliteitszorg. Ook werd aangegeven dat 
het advies laat kwam, waardoor de belangstelling van 
docenten al wat was weggezakt. 



NVAO Evaluatie accreditatiestelsel Nederland 201 1-2013/51 



De NVAO stelt verder zelf vast dat de deskundigheid en onaf- 
hankelijkheid van de auditcommissies die de instellingstoets 
kwaliteitszorg uitvoeren veel aandacht vraagt. Nog sterker 
dan bij de beoordeling van opleidingen geldt hier dat de groep 
van peers bijzonder klein is. De NVAO draagt er daarom zorg 
voor dat in iedere commissie ook peers van buiten het Neder- 
landse hoger onderwijs worden opgenomen. De voorzitters 
van de auditcommissies volgen daarnaast verplicht een inten- 
sieve 2-daagse training in audittechnieken. Deze training 
heeft ook tot doel de consistentie van de beoordeling te 
borgen. 

5.3.2 / Ervaringen van voorzitters van ITK-panels 

De NVAO heeft op 1 4 mei 201 3 een rondetafelbijeenkomst met 
voorzitters van de auditcommissies voor de instellingstoets 
kwaliteitszorg georganiseerd en een enquête gehouden onder 
de instellingen die de procedure hebben ondergaan. 

Het gesprek over de werd gevoerd aan de hand van een eerste 
uitwisseling van ervaringen en een bespreking van de eerste 
indrukken. Op de agenda stonden de effecten van de ITK op de 
nu beoordeelde instellingen (zie tabel 5.9), de werking van het 
beoordelingskader en de consistentie van de beoordeling. 

Tabel 5.9: Aantal afgeronde ITK's 

Totaal Positief Positief Ingetrokken (na 

onder vw negatiefoordeel) 

2013* 18 9 2 7(2) 

2012 7 4 2 1 (1) 

2011 2 2 

Totaal 27 15 4 8(3) 
* tot 8 juli 2013 

Eerste ervaringen 

De voorzitters concludeerden dat naar hun ervaring alle ITK's 
zeer serieus worden genomen door zowel hogescholen als 
universiteiten. De toets is zeker geen 'kunstje' en er is sprake 
van enige nervositeit bij de betrokken instellingen. Duidelijk 
waarneembaar is dat de toets het gemeenschapsgevoel 
binnen een instelling in positieve zin beïnvloedt. Het belang 
van de voorbereiding op de toets, via het schrijven van de 
kritische reflectie en de uitvoering van een proefaudit, wordt 
daarbij genoemd als een factor die mede bepalend is voor het 



succes van de toets. Natuurlijk hebben ook de bezoeken van 
de commissie een positief effect op de instelling, er is samen 
gewerkt aan een cruciaal project en dat schept een band. 

Toch wordt het proces voorafgaande aan het bezoek als het 
meest belangrijke gepercipieerd. In de voorbereiding op de 
audit wordt door de meeste instellingen enorm veel werk 
verzet. Het hele systeem van beleidsvoorbereiding, uitvoering 
en evaluatie wordt goed doorgelicht en voordat de commissie 
op bezoek komt, worden veelal de 'laatste gaten gedicht'. 
De kritische reflectie, in zekere zin het sluitstuk van de interne 
voorbereiding, is cruciaal; als daar realiteitszin uit blijkt, heeft 
dat een positief effect op de audit, maar wanneer een groot 
gat zit tussen de aangetroffen situatie en het beeld uit de 
kritische reflectie dan volgt veelal een problematische audit 
met een minder positieve conclusie. 
Samenvattend: het bezoek van de commissie is belangrijk, 
maar de periode voor het bezoek is cruciaal voor het succes en 
het blijvende belangen effect van de ITK binnen de instelling. 

Als opvallend punt werd door de voorzitters van de audit- 
commissies naar voren gebracht dat sommige hogescholen 
worstelen met het goed onder woorden brengen van de visie 
op kwaliteit. Vaak blijft die visie steken in processen en 
procedures, zonder dat er een meer inhoudelijke visie op de 
kwaliteit van het onderwijs wordt gegeven. De voorzitters 
signaleren in dit verband het probleem dat procesmatige 
definities van kwaliteit, 'we willen het beste uit onze 
studenten halen', niet automatisch meetbare kwaliteit 
opleveren. De commissies zijn op zoek naar inhoudelijke 
ankers. Ook is zowel bij universiteiten als hogescholen de 
samenhang tussen beleid en visie soms vaag. Bij de analyse 
van het kwaliteitszorgsysteem in enge zin valt op dat de 
relatie tussen formele en informele kwaliteitszorg cruciaal is. 
Het proces is ook van belang, maar blijft lastig te vatten in 
procedures. 

Tot slot van de algemene bevindingen werd door de voorzitters 
van de commissies opgemerkt dat de (organisatie)structuur 
van een instelling cruciaal is: wie is er verantwoordelijk voor 
kwaliteit? 'Wie steekt zijn of haar vinger op als het niet goed 
gaat'. Als deze vraag niet eenduidig beantwoord kan worden, 
is er een probleem. In dit verband wordt een kwaliteitscultuur 
ook wel geduid als het 'consequent handhaven van de afge- 
sproken criteria en op constructieve wijze signaleren dat 
dingen misgaan'. 
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De NVAO heeft bij alle instellingen aangegeven bereid te zijn 
bij te willen dragen aan de disseminatie van de effecten van 
de ITK, bijvoorbeeld door gezamenlijk een seminar te organi- 
seren over de uitkomsten van iedere ITK. Van dit aanbod is nog 
geen gebruik gemaakt. 

Beoordelingskader 

Het beoordelingskader voor de ITK en de daarbij behorende 
methodiek worden zeer gewaardeerd door de commissies: 
'de methodiek is erg goed, alles komt bloot te liggen'. Verschil- 
lende voorzitters benadrukten het belang van de audittrails: 
deze onderzoeken zijn cruciaal voor de waarheidsvinding en 
het ervaren van de kwaliteitscultuur. 

Er zijn wel vragen over de te hanteren beslisregels en in het 
verlengde daarvan de vraag: 'waar ligt de lat'. Tot nog toe 
worden deze vragen niet als een probleem ervaren. Het 
systeem is immers nieuw en men is van mening dat er nu op 
basis van de praktijk van de afgelopen twee jaar gewerkt moet 
worden aan een nadere invulling. De meerderheid van de voor- 
zitters is van mening dat op dit vlak best een deductieve werk- 
wijze gebruikt kan worden; op basis van wat tot nu toe is 
aangetroffen en niet door inductief het kader te verduidelijken. 
Vastgesteld moet worden dat het versterken van de consis- 
tentie in oordelen niet direct kan worden opgelost met een 
steeds verdergaande en verfijndere definiëring van stan- 
daarden. Het is wel van belang te zoeken naar een basis voor 
nog meer gelijkvormige oordelen. Er moet daarvoor meer 
duidelijkheid komen over de interpretatie van bevindingen 
tussen NVAO en commissies, maar 'we moeten niet de stan- 
daarden verder gaan dichtschrijven'. 

Op dit moment wordt de consistentie tussen commissies 
bewaakt door veel overlap te organiseren in de samenstelling 
van auditcommissies. De leden van de commissies komen op 
die manier regelmatig met elkaar in contact en wisselen zo 
ervaringen uit. Zo wordt er op dat niveau gezorgd voor consis- 
tente oordelen. Daarnaast vervult het bestuur van de NVAO 
een centrale en cruciale rol op dit vlak. Alle rapporten en 
oordelen worden daar besproken en zo nodig wordt uit consis- 
tentie overwegingen ook afgeweken van commissieadviezen. 
De afwijkingen door het bestuur van de NVAO worden niet als 
een desavouering van de commissie ervaren door de 
betrokken voorzitters. De betrokken instellingen hebben, 
indien de NVAO een oordeel naar beneden bijstelt, meer 
problemen met dergelijke afwijkingen. Voor deze instellingen 



blijkt de eigenstandige afweging van de NVAO vaak moeilijk te 
accepteren; zij reageren over het algemeen kritisch op een 
dergelijke afwijking. De commissievoorzitters stellen voor dat 
de NVAO een instrument ontwikkelt waardoor de consistentie 
van de oordelen beter wordt verzekerd. Gedacht wordt aan 
een kennisbasis. De NVAO wil een dergelijk overzicht in het 
najaar van 2013 gereed hebben. 

5.4 / Externe onderzoeken 

In Europa hebben de ministers van Onderwijs afspraken 
gemaakt over de wijze waarop het toezicht op het hoger 
onderwijs getoetst en beoordeeld dient te worden. In de 
European Standards and Guidelines for Quality Assurance in 
the European Higher Education Area (ESG) van de European 
Association for Quality Assurance in Higher Education (ENQA) 
zijn daarom duidelijke regels vervat ten aanzien van de onaf- 
hankelijkheid van het externe toezicht op het hoger onderwijs. 

Uit recent onderzoek van de E4-groep blijkt dat de ESG hun 
waarde hebben bewezen in het Bologna proces. 14 De ESG 
hebben de ontwikkeling van kwaliteitszorg processen in de 
Bologna landen positief beïnvloed en geleid tot een gedeeld 
begrip van kwaliteitszorg. De ESG zijn daarmee een succes 
binnen het Bologna proces. De richtlijnen zijn in diverse omge- 
vingen toepasbaar en hebben geleid tot een gedeeld begrip 
van kwaliteitszorg onder de relevante stakeholders en actoren 
in het hoger onderwijs. Ook hebben de ESG invloed gehad op 
de ontwikkeling van kwaliteitszorg processen op instellings- 
en nationaal niveau. 

Het toezicht op de naleving van de Europese normen is in 
handen van ENQA. In Nederland heeft de inspectie de taak om 
de werking van het accreditatiestelsel te beoordelen; de onaf- 
hankelijkheid van de oordelen is ook voor de inspectie een 
belangrijk uitgangspunt. De inspectie deed tussen 2004 en 
2007 eerder onderzoek naar de onafhankelijkheid van de 

14> De E4-groep bestaat uit de European Association for Quality Assurance in 
Higher Education (ENQA), European Students Union (ESU), the European 
University Association (EUA) en the European Association of Higher 
Education Institutions (EURASHE). De E4-groep heeft over de toepassing 
van de ESG een rapport uitgebracht als resultaat van het project 'Mapping 
the implementation and application of the European Standards and 
Guidelines for Quality Assurance in the European Higher Education Area' 
(MAP-ESG). Dit door de Europese Commissie ondersteunde project startte 
in 201 met als doel het verzamelen van informatie over de implementatie 
en toepassing van de ESG in de Bologna landen. 



NVAO Evaluatie accreditatiestelsel Nederland 201 1-2013/53 



externe kwaliteitszorg en concludeerde toen dat de onafhan- 
kelijkheid voldoende geborgd was. 15 

Al in 2007 is het functioneren van de NVAO aan een inter- 
nationale evaluatie onderworpen. Het Comité van Ministers 
van de NVAO had opdracht gegeven aan een internationaal 
panel om een evaluatie ten behoeve ENQA op te stellen. 
Het'Report of the committee forthe reviewofthe NVAO'is in 
september 2007 verschenen en legt het functioneren van de 
NVAO langs de meetlat van de ESG. De belangrijkste conclusie 
van deze evaluatie was dat de NVAO voldoet aan de European 
Standards and Guidelines. 

Ook het rapport uit 2008 van het onderzoeksinstituut CHEPS, 
'New degrees in the Netherlands', concludeerde dat het 
Nederlandse accreditatiestelsel succesvol is geïmplemen- 
teerd en dat het door de buitenlandse waarnemers wordt 
gezien als hoogst betrouwbaar, streng en zorgvuldig. Het 
versterkt het vertrouwen in de Nederlandse graden en draagt 
zo bij aan de totstandkoming van de Europese Hoger Onder- 
wijs Ruimte. Het rapport is aan de Tweede Kamer aangeboden 
met brief van 31 oktober 2008 (bijlage bij Kamerstukken II 
2008/09, 29 281 , nr. 1 0). De Algemene Rekenkamer kwam in 
het rapport 'Kwaliteitsbewaking in het hoger onderwijs in 
Nederland en Vlaanderen' (Kamerstukken II 2008/09,31 554, 
nrs. 1-2) eveneens tot de conclusie dat het stelsel van kwali- 
teitsbewakingvoor het hoger onderwijs goed was uitgewerkt. 

Het ENQA review panel dat in 201 2 de NVAO heeft doorgelicht, 
bevestigt in zijn rapport dat er zich in het nieuwe accredita- 
tiestel geen problemen voordoen met de onafhankelijkheid en 
deskundigheid van de panels: 

'Having assessed various documents and oral evidence 
through a site visit, the Panel is convinced that NVAO acts in 
compliance with the ENQA membership regulations and is in 
substantial compliance with the Standards and Guidelines for 
Quality Assurance in the European Higher Education Area 
(ESG). The Panel therefore recommends to the Board of ENQA 
that NVAOs Full Membership of ENQA be confirmed for a 
further period of five years', aldus de commissie. 

1 5> De Onderwijsinspectie heeft tussen 2004-2007 de volgende rapporten 
uitgebracht: Introductie en deel 1: Accreditatie in internationaai perspec- 
tief. Brief van 28 oktober 2005; Kamerstukken II 2005/06, 28 879, nr. 1 1; 
deet 2: Accreditatie: de kosten in kaart. Brief van 25 oktober 2005; Kamer- 
stukken II 2005/06, 28 879, nr. 10; deel 3: Accreditatie in werking: beoogde 
en niet beoogde effecten. Brief met beleidsreactie van 1 6 augustus 2006; 
Kamerstukken II 2005/06, 28 879, nr. 13; deel 4: Accreditatie: de opleiding 
aan het werk (De werking van het accreditatieproces in de ogen van de 
instellingen). Brief van 15 februari 2007; Kamerstukken II 2006/07, 28 879, 
nr. 17. 



Onafhankelijkheid van de overheid en van de instellingen voor 
hoger onderwijs is een belangrijke voorwaarde waar de NVAO 
volgens de ESG aan moet voldoen: 

'Agencies should be independent to the extent both that they 
have autonomous responsibility fortheir operations and that 
the conclusions and recommendations made in their reports 
cannot be influenced bythird parties such as higher educa- 
tion institutions, ministries or other stakeholders'. 

De ENQA evaluatiecommissie die in 201 2 onderzoek deed 
naar het functioneren van het Nederlandse accreditatie- 
stelsel en de NVAO concludeerde op dit punt dat: 
'It is also evident to the Panel that NVAO has autonomous 
responsibility for its operations and its operational 
independence from higher education institutions and 
governments is guaranteed in official documents. 
The very detailed and legally binding assessmentframeworks 
(as well as the conti nuous monitoring of the level of adherence 
to them) ensure that the appointment of external experts and 
the determination of the outcomes of the quality assurance 
processes are undertaken autonomously and independently 
from governments, higher education institutions, and organs of 
political influence.They also ensure that the conclusions and 
recommendations made in the reports cannot be influenced by 
third parties such as higher education institutions, ministries 
or other stakeholders and that the final outcomes of the 
quality assurance processes (the accreditation decisions) 
remain the sole responsibility of NVAO'. 

'Sincethe assessments of existing programmes are not 
carried out by NVAO, the Panel finds that the independence of 
the quality assurance agencies carrying out these types of 
assessments needs to be considered as part of the assess- 
ment of the operational independence of NVAO. In this regard, 
the Panel has noted that in the external assessments of both 
VHL0RA and VLIR these agencies have been assessed as 
being fully compliant and the Dutch agency QANU as being 
substantially compliant with ESG 3.6 Independence and so do 
not raise questions as regards the independence of the 
processes carried out by these agencies. The situation is less 
clear regarding the other Dutch quality assurance agencies 
which were not (yet) vetted by ENQA, but NVAO explicitly 
requires their panel members to adhere to a Code of Conduct 
and to sign an independence and confidentiality declaration'. 
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De NVAO ziet een verbetering in de leesbaarheid van de 
adviezen voor een breed publiek. ENQA waardeert het 
initiatief te werken met de samenvatting van de commissies. 
De aandacht die wordt besteed aan het schrijven van een 
samenvatting in de training voor secretarissen draagt bij aan 
de leesbaarheid van de adviezen. Ten opzichte van het vorige 
stelsel zijn de rapporten beduidend toegankelijker geworden. 
De kwaliteit van de samenvatting kan echter nog meer worden 
vergroot; dit aspect van het visitatierapport scoort bij de 
beoordeling van de visitatierapporten door de NVAO het 
laagst. 

De toegankelijkheid van de besluiten van de NVAO dient te 
worden verbeterd. Ook waren zowel de inspectie als de ENQA- 
commissie kritisch over de zoekfunctie van de database op de 
NVAO-website. 

As for the accessibility the Panel f inds that, despite the fact 
that the search facility of NVAO's web site makes it rather hard 
to f ind a specif ic assessment report, the assessment reports 
contain what NVAO needs to be able to reach an accreditation 
decision and thus fit the primary intended readership of the 
reports as defined by NVAO. Despite the introduction of a 
summary, the Panel is, however, not convinced about the 
general readability for other stakeholders and agrees with the 
external stakeholders who during the site visit characterised 
the reports as being too technical - and maybe also too 
verbose - to read for the general public, including (prospec- 
tive) students. Thus the panel also agrees with the stake- 
holders that the intended readership of the reports defined 
by NVAO is too narrow'. 16 



Hoewel de beperkte opleidingsbeoordeling vooralsnog niet 
lijkt te leiden tot een vermindering van inspanning of admini- 
stratieve lasten, is het draagvlak voor de nieuwe manier van 
beoordelen groot. Wel signaleert de inspectie dat de toename 
in kritische oordelen vooral bij universiteiten vragen oproept. 1 ' 
Onder de directe betrokkenen is geen discussie over de onaf- 
hankelijkheid en gezaghebbendheid van de oordelen van de 
NVAO. 

Voorzitters van de ITK-commissies zijn positief over deze 
toets. Wel zien zij een belangrijk aandachtspunt in de consis- 
tentie van de uitgevoerde beoordelingen. De NVAO wil onder- 
zoek (laten) doen om meer en beter zicht te krijgen op de 
betrouwbaarheid van de verschillende beoordelingen. 
Dergelijk onderzoek zal kunnen aangeven hoe de consistentie 
tussen en binnen panels verhoogd kan worden. 

De NVAO voldoet aan de European Standards and Guidelines 
for Quality Assurance in the European Higher Education Area 
van de ENQA. Dat wil zeggen dat een internationaal panel van 
deskundigen op het gebied van (externe) kwaliteitszorg in het 
hoger onderwijs oordeelt dat belanghebbenden erop kunnen 
vertrouwen dat de NVAO en de kaders waarbinnen de NVAO 
opereert naar behoren functioneren. 



5.5/Conclusie 

De verschillende onderzoeken naar de eerste ervaringen van 
stakeholders schetsen over het algemeen een positief beeld 
van het functioneren van het nieuwe accreditatiestelsel. 
Instellingen en docenten blijken (zeer) betrokken te zijn met, 
en tevreden over de instellingstoets kwaliteitszorg en de 
opleidingsbeoordelingen. Docenten blijken zelfs (zeer) 
tevreden te zijn over de inhoudelijke focus van de beperkte 
opleidingsbeoordeling. Zij vinden dat de aandacht voor 
toetsen en voor het eindniveau het meest pregnant is. 
De aandacht voor de andere aspecten achten de docenten 
minder intensief, maar ook op orde. 



16> ENQA, Report of the Panel of the external review of the NVAO (2012), p. 22. 



17> Inspectie, De kwaliteit van het Nederlandse accreditatiestelsel, p. 8. 
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Hoofdstuk 6 

Conclusies 
NVAO 



'Generally, the impression is that the new 
system in the Netherlands and not least 
the inclusion of institutional audits and 
the possi bi Lity for granting a recovery 
period do indeed promote more focus on 
quality improvement and enhancement 
than the previous system d i d '. 1 8 

In 201 2 heeft de NVAO haar strategie voor de jaren 2012-2016 
geformuleerd; binnenkort verschijnt een actualisatie daarvan. 
De NVAO streeft er naar in het hoger onderwijs een cultuur 
gericht op blijvende kwaliteitsontwikkeling te stimuleren. De 
conclusies en aanbevelingen in dit rapport sluiten aan op deze 
doelstelling en worden meegenomen in de geactualiseerde 
NVAO strategie en daarmee in haar werkzaamheden de 
komende jaren. 

Het nieuwe stelsel functioneert naar het oordeel van de NVAO 
op hoofdlijnen goed, maar er zijn zeker nog betekenisvolle 
verbeteringen mogelijk. Zo constateert de NVAO dat een 
verdere flexibilisering van het instrumentarium voor de hand 
ligt. De termijnen die horen bij een herstelperiode of beoor- 
deling onder voorwaarden zijn op grond van de huidige 
wet- en regelgeving soms structureel te kort. Sommige 
herstelwerkzaamheden vergen meer dan een jaar tijd. 

Met de invoering van het nieuwe accreditatiestelsel is ook de 
mogelijkheid geïntroduceerd dat een besluit tot het verlenen 
van accreditatie, toets nieuwe opleiding of instellingstoets 
wordt ingetrokken (art. 5a.1 2b WHW). Hierdoor is het mogelijk 
om een opleiding snel en effectief te kunnen beëindigen bij 
ernstige kwaliteitsproblemen waar er geen zicht meer is op 
verbetering. In het accreditatiestelsel heeft de NVAO de 
bevoegdheid om besluiten te nemen tot het verlenen en 
verlengen van accreditatie, toets nieuwe opleiding of instel- 
lingstoets, maar niet de bevoegdheid tot het intrekken 
daarvan. Die ligt bij de minister. Beide type besluiten (verlenen 
of intrekken) worden genomen na beoordeling van een 
opleiding of instelling en op dezelfde criteria. De vraagt rijst 
daarom of de bevoegdheid tot het intrekken van een besluit 
- uiteraard met behoud van de gevraagde zorgvuldigheid - 
niet eveneens bij de NVAO zou moeten worden belegd. 



Op dit moment kan de NVAO alleen een onderzoek naar een 
opleiding starten op verzoek van de minister. De minister 
stelt echter in de Nota van Wijziging bij de wet 'versterking 
kwaliteitswaarborgen hoger onderwijs' dat de NVAO 
verantwoordelijk is voor het beoordelen van de kwaliteit van 
het hoger onderwijs. 19 Het is daarom wenselijk dat de NVAO, 
bij signalen ten aanzien van de kwaliteit van een opleiding, 
ook uit eigen beweging onderzoek kan doen. 

Ook de bestaande praktijk rond de bestuurlijke afspraak laat 
zien dat er behoefte is aan een meer verfijnd en gedifferen- 
tieerd instrumentarium. Uiteraard past terughoudendheid bij 
het maken van bestuurlijke afspraken, maar om goede opvol- 
ging te kunnen geven aan de gemaakte afspraken is het 
wenselijk dit instrument wettelijk te verankeren. 

Daarnaast is het duidelijk dat de toegankelijkheid van de 
besluiten en de visitatierapporten op de website van de NVAO 
beter kan en dat de NVAO de doorlooptijd van een aanvraag 
verder wil bekorten, bijvoorbeeld door een betere spreiding 
van de accreditatieaanvragen. Dit laatste draagt ook bij aan 
een vermindering van de accreditatielasten. Het open 
spreekuur bij visitaties verdient een bredere bekendheid, zo 
laat het onderzoek onder docenten zien. Met de invoering van 
de verplichting om clustergewijs te visiteren ontstaan ook 
extra mogelijkheden de consistentie van de oordelen verder te 
verbeteren door de consensus onder beoordelaars te bevor- 
deren. Door te werken met een beperktere groep voorzitters is 
het mogelijk een verplichte training voor de voorzitters van 
visitatiepanels in te voeren. 

Hoogwaardig hoger onderwijs is in de 21 e eeuw onmisbaar, 
zeker voor landen die hun welvaart met name aan een kennis- 
intensieve economie willen ontlenen. Accreditatie moet de 
ontwikkeling van nieuw en uitdagend onderwijs niet in de weg 
staan, maar juist stimuleren. De NVAO wil met het huidige 
stelsel de ontwikkeling van een kwaliteitscultuur binnen 
instellingen bevorderen. Dit betekent ook dat de NVAO moet 
blijven reflecteren op het stelsel van kwaliteitszorg, ook in het 
licht van nieuwe, internationale ontwikkelingen in het hoger 
onderwijs, zoals de MOOCs, nieuwe vormen van leren en 
onderwijzen (onderwijsinnovatie en aandacht voor thema's 
zoals duurzaamheid, ondernemerschap en innovatie. 



19> Nota van wijziging bij de wet versterking kwaliteitswaarborgen hoger 
18> ENQA, Report of the Panel of the external review of the NVAO (2012), p. 20. onderwijs (Kamerstukken II 2012/13, 33 472). 
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In de volgende paragrafen reflecteert de NVAO op de imple- 
mentatie van de doelstellingen van het nieuwe accreditatie- 
stelsel. Iedere doelstelling wordt in een aparte paragraaf 
besproken aan de hand van de in dit rapport gepresenteerde 
onderzoeken. 

6.1 /Onafhankelijke beoordeling van de 
kwaliteit 

De samenleving, werkgeversorganisaties en studenten 
verwachten van universiteiten en hogescholen dat zij zich 
geregeld openstellen voor externe, onafhankelijke beoordeling 
van hun processen en resultaten. Ook de professionals zelf 
stellen een inhoudelijke beoordeling van hun opleiding meestal 
zeer op prijs. Dit is een aangrijpingspunt voor de verbeter- 
functie. Dit uitgangspunt is ook op Europees niveau vastgelegd 
door de Bolognaministers: een onafhankelijke, externe toets op 
de kwaliteit van het onderwijs wordt beschouwd als een nood- 
zakelijke voorwaarde om te komen tot de Europese Hoger 
Onderwijsruimte. 20 

Onafhankelijke en externe beoordeling van de kwaliteit van 
het hoger onderwijs is het fundament van het accreditatie- 
stelsel. Het vertrouwen van de samenleving in de kwaliteit van 
het onderwijs is mede gebaseerd op het feit dat onafhanke- 
lijke deskundigen, de peers, regelmatig de inhoud en uitkom- 
sten van ons hoger onderwijs beoordelen. Deze peer review 
wordt niet alleen in Nederland en Vlaanderen, maar ook in de 
rest van Europa en daarbuiten gezien als het meest effectieve 
instrument om de kwaliteit van het hoger onderwijs te borgen 
en te verbeteren. 21 Review door gezaghebbende, onafhanke- 
lijke en deskundige, 'state-of-the-art peers' wordt internatio- 
naal erkend als de meest geëigende werkwijze bij de externe 
kwaliteitsbeoordeling in het hoger onderwijs. 

De NVAO onderschrijft het belang van peer review in de beoor- 
delingvan de kwaliteit van een opleiding of instelling en 
koppelt er voorwaarden aan. De NVAO stelt specifieke eisen 
aan de samenstelling van de commissies van peers; deze 
dienen te bestaan, niet alleen uit gezaghebbende, onafhanke- 
lijke peers met vakdeskundigheid, maar dienen ook deskun- 

20> Memorie van Toelichting bij de wijziging van de WHW in verband met aan- 
passing van het accreditatiestelsel (Kamerstukken II 2009/10, 32 210), nr. 3. 

21 > Achim Hopbach (ed.), Quatity Procedures in the European Higher 
Education Area ond Beyond - Visions for the Future (Brussel 201 2). 
Fiona Crozier, Nathalie Costes, Paula Ranne and Maria Stalter (eds.), 
ENQA: Wyears (2000 - 2010) - A decade of European co-operation in 
quality assurance in higher education (Brussel 201 0). 



digheid op het gebied van onderwijs, toetsing, kwaliteitszorg, 
auditdeskundigheid en het betreffende werkveld te bevatten. 
Een belangrijk uitgangspunt bij de invoering van het nieuwe 
stelsel was dat de onafhankelijke toetsing van de kwaliteit 
van het onderwijs door de docenten ook ervaren moet worden 
als een zinvolle bijdrage aan de verbetering van de kwaliteit 
van het onderwijs. Om dit doel te bereiken, kregen instellingen 
het recht zelf een voorstel voor een visitatiepanel in te dienen, 
bestaande uit gezaghebbende, deskundige en onafhankelijke 
peers. De NVAO heeft in het nieuwe stelsel de opdracht 
gekregen deze panels voorafgaande aan de visitatie te onder- 
zoeken op deze aspecten en de panels goed te keuren. De 
NVAO heeft, zoals beschreven in hoofdstuk 3, de betrouwbaar- 
heid van de beoordeling door peers versterkt door onder 
andere uniforme definities van kengetallen en indicatoren 
voor te schrijven bij de visitatie van opleidingen. De NVAO wil 
in overleg met de inspectie en de Review Commissie Hoger 
Onderwijs komen tot eenduidige definities zodat instellingen 
met een beperkte set van kengetallen te maken krijgen. 
Andere maatregelen ter bevordering van de betrouwbaarheid 
van peer-oordelen worden verderop in dit hoofdstuk 
beschreven. 

In opdracht van de NVAO is ResearchNed via een enquête 
onder docenten in het hoger onderwijs nagegaan wat de 
eerste ervaringen zijn in het Nederlandse hoger onderwijs met 
de beperkte opleidingsbeoordeling (BOB). De kwaliteit en 
onafhankelijkheid van de commissies staat volgens de onder- 
vraagde docenten buiten kijf. Vrijwel geen enkele respondent 
is negatief over aspecten als inhoudelijke deskundigheid, 
kennis van het werkveld en objectiviteit; het merendeel vindt 
deze (zeer) goed. De herkenbaarheid, de bruikbaarheid en het 
kritisch karakter van de rapporten van de visitatiecommissies 
wordt door het overgrote merendeel van de ondervraagde 
docenten als (zeer) goed beoordeeld. 

De inspectie stelt in haar evaluatie van het stelsel dat het nog 
niet mogelijk is vastte stellen of de inrichting van het stelsel 
leidt tot voldoende betrouwbare onderzoeksprocessen en 
beoordelingen. De inspectie heeft geen aanwijzingen gevonden 
dat er belangrijke verschillen zijn in de eindoordelen tussen 
evaluatiebureaus, wel ziet men verschillende in de oordelen op 
enkele standaarden. Kleinere bureaus oordelen volgens de 
inspectie significant vaker 'goed' op sommige standaarden dan 
grotere bureaus. Ook op basis van eigen analyses gaat de NVAO 
de verschillen in beoordelingen nader onderzoeken. 

De in dit rapport gemaakte analyses van de oordelen van 
visitatiecommissie laten zien dat het oordeel 'voldoende' veruit 
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het meest gegeven oordeel is bij bestaande accreditaties. 
Een onvoldoende eindoordeel komt in drie procent van de 
gevallen voor bij zowel de BOB als de UOB. Het eindoordeel 
excellent is bij de UOB nog niet gegeven. Op basis van de 
gegeven scores bij de UOB, concludeert de NVAO dat het lastig 
is een eindoordeel 'goed' c.q. 'excellent' te halen. De beslisregel 
bij deze beoordeling laat deze oordelen alleen toe wanneer 
een vaste set van acht standaarden minimaal datzelfde 
oordeel heeft gekregen. 

Een belangrijke bevinding acht de NVAO de gevonden 
verschillen in de beoordeling tussen de evaluatiebureaus. 
De NVAO constateert echter tegelijkertijd dat uit het onder- 
zoek naar de onderbouwing van de oordelen blijkt, dat er 
juist géén verschillen zijn gevonden tussen de verschillende 
bureaus als het gaat om de onderbouwing van de gegeven 
oordelen. De NVAO onderschrijft de gegeven oordelen, onaf- 
hankelijk van het evaluatiebureau. Dit zou kunnen betekenen 
dat de gevonden verschillen toe te schrijven zijn aan daad- 
werkelijke kwaliteitsverschillen tussen opleidingen. Daar- 
naast heeft de NVAO vastgesteld dat de beoordeling van 
opleidingen in clusters of visitatiegroepen binnen een domein 
leidt tot consistente oordelen, maar dat ertussen verschil- 
lende domeinen wel verschillen te zien zijn in de manier 
waarop panels beoordelen. Deze bevindingen zijn voorde 
NVAO aanleiding nader onderzoek te gaan doen. 

De inspectie concludeert tevens dat de open standaarden een 
belangrijk uitgangspunt zijn van het Nederlandse stelsel en 
dat een verdere instrumentatie via nadere voorschriften niet 
voor de hand ligt als middel om de betrouwbaarheid verder te 
vergroten. De vorming van consensus onder beoordelaars is 
de meest geëigende route om tot betrouwbare oordelen te 
komen. De inspectie onderschrijft de maatregelen die de 
NVAO neemt om de betrouwbaarheid te vergroten, dan wel te 
borgen; zoals de verplichte trainingen en regelmatige inter- 
visiebijeenkomsten. Wel concludeert de inspectie dat er nog 
meer maatregelen mogelijk zijn. Een belangrijke rol is in dit 
opzicht weggelegd voor de visitatiepanels. 

Het onderzoek van de NVAO naar de samenstelling van de 
panels leidt tot de conclusie dat de onafhankelijkheid en 
deskundigheid van de panels in orde is. Na eventuele 
wijzigingen heeft de NVAO met alle voorgedragen panels 
ingestemd. Door de toetsing vooraf van de onafhankelijkheid 
en de deskundigheid van visitatiepanels waarborgt de NVAO 
dat de opleidingsbeoordeling op onafhankelijke en deskundige 
wijze worden uitgevoerd. De NVAO constateert dat de kwaliteit 
van de voorgedragen panels sinds de invoering van het nieuwe 



accreditatiestelsel is toegenomen. De NVAO signaleert 
echter ook dat de kwaliteit van de panels nog verder kan 
toenemen. Een deel van de evaluatiebureaus zet professionele 
auditors in. Dit leidt aantoonbaar tot minder domein- 
deskundigen in een panel, maar het inzetten van ervaren 
auditors heeft ook voordelen zoals in de inleiding bij deze 
paragraaf beschreven. 

De NVAO is van mening dat naast een verdere professionalise- 
ring ook de onderwijsdeskundigheid sterker kan worden inge- 
vuld, met meer onderwijskundige expertise op met name het 
vlak van toetsing. De maatschappelijke roep daartoe neemt 
toe en dit is ook een van de aanbevelingen van de inspectie. 22 
Tot slot kan de werkvelddeskundigheid worden versterkt in de 
panels voor het beoordelen van wetenschappelijke opleidingen. 
De panels zijn goed op de hoogte van de eisen die het werk- 
veld stelt aan afgestudeerden van de opleidingen, maar in 
deze panels ontbreken nog vaak echte rolmodellen uit de 
professionele praktijk. 

In 2012 werd de NVAO onderzocht door een panel van Euro- 
pese deskundigen van de European Association for Quality 
Assurance in Higher Education (ENQA). Dit panel had als 
opdracht te onderzoeken of de NVAO voldoet aan Europese 
regels en normen; de European Standards and Guidelines for 
Quality Assurance in the European Higher Education Area 
(ESG). Het rapport van dit panel stelt dat er in het zich geen 
problemen voordoen met de onafhankelijkheid en deskundig- 
heid van de panels. 

In haar recente onderzoek naar de kwaliteit van het 
Nederlandse accreditatiestelsel concludeert de inspectie 
op vergelijkbare wijze dat de onafhankelijkheid van de 
panels ten opzichte van de te beoordelen opleiding of 
instelling goed is: 23 

De onafhankelijkheid van de panels ten opzichte van de te 
beoordelen opleiding of instelling is goed. De maatregelen bij de 
selectie van de panels leiden tot een goede onafhankelijkheid 
van de panels en ook tot grote tevredenheid van de betrokkenen 
op dit punt. De beperkte recruteringsvijver voor peers in een 
klein land geeft soms discussie, maar doet geen afbreuk aan 
de onafhankelijke opstelling van de panels. 

Er zijn binnen het stelsel diverse maatregelen genomen om 
de onafhankelijkheid van de panelleden te waarborgen: 

> er is een heldere richtlijn 'Eisen aan de panelsamenstelling' 

22> Zie bijvoorbeeld: HBO-raad, Vreemde ogen dwingen, p. 60. 

23> Inspectie, De kwaliteit van het Nederlandse accreditatiestelsel, pp. 1 5-1 7. 
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opgesteld, te vinden op de website van de NVAO, met eisen 
aan feitelijke, maar ook aan de daadwerkelijk gevoelde onaf- 
hankelijkheid en aan de gevraagde professionele houding; 

> de samenstelling van het panel wordt door de instelling 
(of in mandaat door het evaluatiebureau) ter goedkeuring 
voorgelegd aan de NVAO; 

> panelleden moeten een onafhankelijkheidsverklaring 
tekenen, waarin staat dat ze geen banden met de instelling 
en opleiding hebben; 

> de evaluatiebureaus bewaken bij het samenstellen de 
onafhankelijkheid en deskundigheid en de NVAO checkt 
dit vervolgens aan de hand van de cv's van de panelleden; 

> er vindt twee keer per jaar uitwisseling plaats tussen de 
NVAO en de evaluatiebureaus over concrete casuïstiek. 

Ook de staf en bestuursleden van de NVAO stellen zich in de 
individuele besluitvormingen onafhankelijk op. Voor de beoor- 
deling op basis van een panelrapport heeft het bestuur maat- 
regelen genomen om te waarborgen dat ook voor de toewijzing 
van de voorbereiding van besluiten door bestuursleden 
dezelfde criteria van 'geen binding' van toepassing zijn. De 
inspectie vindt dat, gegeven de mogelijkheden van ons kleine 
land, en uitgaande van een peersysteem, er maximaal zorg- 
vuldig met het vraagstuk van de onafhankelijkheid van de 
commissieleden wordt omgegaan. De onafhankelijkheid van 
de individuele beoordelingen is goed. 

De NVAO concludeert op basis van de hier gepresenteerde 
resultaten dat de externe beoordeling van de kwaliteit van het 
hoger onderwijs op onafhankelijke en deskundige wijze wordt 
uitgevoerd. In het wetsvoorstel 'Versterking kwaliteitswaar- 
borgen hoger onderwijs' wordt door het kabinet voorgesteld 
dat de NVAO als opdrachtgever van visitatiecommissies gaat 
fungeren. De reden van dit voorstel is elke financiële relatie 
tussen de leden van de visitatiecommissie en een te beoor- 
delen opleiding te voorkomen. De NVAO is van mening dat het 
doel van deze maatregel, namelijk het doorsnijden van elke 
mogelijke relatie tussen beoordeelde en beoordelaar, door de 
voorgestelde invoering van clustergewijze visitatie al wordt 
gerealiseerd. Er is door het visiteren in visitatiegroepen geen 
sprake meer van een een-op-een relatie tussen beoordelaar 
en beoordeelde. Daarnaast dient de goedkeuring die de NVAO 
aan de commissies verleent al als een waarborg voor de onaf- 
hankelijkheid en deskundigheid van de commissies. Uit de in 
dit rapport gepresenteerde evaluaties van bijvoorbeeld ENQA, 
de inspectie en de NVAO zelf blijkt dat de onafhankelijkheid 
van de beoordeling positief is beoordeeld. Er is op dit moment 
geen reden te twijfelen aan de onafhankelijkheid van de 
oordelen van visitatiecommissies. Het beoordelen in clusters 
zal deze situatie alleen maar versterken. 



De Algemene Rekenkamer wijst er in haar rapportage op dat 
de voorgestelde maatregel kan leiden tot een 'verminderde 
eigen verantwoordelijkheid van de onderwijsinstellingen voor 
kwaliteitsbewaking'. 

De NVAO wijst er daarnaast op dat het beleggen van het 
opdrachtgeverschap van commissies bij de NVAO bij een 
aantal opdrachten leidt tot Europese aanbestedingsproce- 
dures. Dit zal extra administratieve lasten opleveren voor de 
NVAO, terwijl de NVAO daarnaast ook een beroep zal moeten 
blijven doen op de instellingen en opleidingen bij het 
aanwijzen van hun peers. 

6.2 / Internationaal geaccepteerd 

Er zijn verschillende internationale actoren waarmee rekening 
gehouden moet worden: de Vlaamse partners op grond van het 
Vlaams-Nederlands accreditatieverdrag 2003; op Europees 
niveau de Bolognaministers en het Europees register van 
kwaliteitszorgorganen (EQAR); en de landen die van belang zijn 
voor de internationale mobiliteit van Nederlandse studenten. 2 '' 

Als binationale instelling vormt de NVAO een internationaal 
voorbeeld op het gebied van accreditatie en kwaliteitszorg en 
ziet in de samenwerking tussen Nederland en Vlaanderen een 
grote meerwaarde: Nederland en Vlaanderen leren van 
eikaars ervaringen, het binationale karakter van de NVAO 
heeft in Europees perspectief een voorbeeldfunctie en de 
samenwerking levert een groter reservoir aan onafhankelijke 
deskundigen op. 

Dat het stelsel internationaal geaccepteerd is, blijkt onder 
meer uit het feit dat in december 2008 de NVAO als een van de 
eerste Europese kwaliteitszorgorganisaties werd opgenomen 
in het onafhankelijke Europese register van kwaliteitsagent- 
schappen, het European Quality Assurance Register for Higher 
Education (EQAR). Opname in het EQAR-register toont aan dat 
NVAO instaat voor het toepassen van de Europese principes 
en uitgangspunten om de kwaliteit van het hoger onderwijs te 
verzekeren. Met het register wil EQAR de transparantie op het 
gebied van kwaliteitszorg in Europa vergroten en de ontwik- 
keling van de Europese hogeronderwijsruimte bevorderen. 
Studenten, instellingen voor hoger onderwijs en andere 
geïnteresseerden kunnen via het register nagaan welke 
organisaties voldoen aan de geldende eisen. 

Op 5 december 201 2 is de registratie van de NVAO vernieuwd. 

24> Memorie van Toelichting bij de wijziging van de WHW in verband met aan- 
passing van het accreditatiestelsel (Kamerstukken II 2009/10,32 210), nr. 3. 
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EQAR heeft de opname van de NVAO in het register geconti- 
nueerd, omdat de NVAO voldoet aan de European Standards 
and Guidelines (ESG) van de European Association for Quality 
Assurance in Higher Education (ENQA). Dit bleek onder meer 
na een positieve beoordeling door de onafhankelijke inter- 
nationale visitatiecommissie die de NVAO in 201 2 heeft 
bezocht in het kader van de vijfjaarlijkse externe review van 
de organisatie. 

In het kader van de internationale acceptatie worden ook 
andere activiteiten ondernomen, zoals: 

> Wederzijdse erkenning accreditatiebesluiten. 

> Bevordering van de internationale mobiliteit. 

> Wederzijdse erkenning van diploma's. 

6.2.1 / Wederzijdse erkenning van accreditaties 

Binnen het verband van het European Consortium for 
Accreditation in higher education (ECA) heeft de NVAO een 
aantal wederzijdse erkenningsovereenkomsten met andere 
accreditatieorganisaties afgesloten. Daarbij is de nadruk in de 
laatste jaren komen te liggen op joint programmes, omdat voor 
deze opleidingen de winst van wederzijdse erkenning van 
accreditatie het meest evident is. De desbetreffende instel- 
lingen hoeven dan immers slechts eenmaal een accreditatie- 
procedure te ondergaan, die vervolgens wordt geaccepteerd in 
alle landen van het joint programme consortium. De NVAO 
heeft daartoe een Europese proefaccreditatie georganiseerd 
en het initiatief genomen tot een verdere uitbreiding van de 
multilaterale wederzijdse overeenkomst van accreditaties van 
joint programmes (MULTRA). Deze MULTRA overeenkomst is 
inmiddels, behalve door de NVAO, ook ondertekend door 
accreditatieorganisaties in Colombia, Denemarken, Duitsland, 
Frankrijk, Oostenrijk, Polen en Spanje. 

6.2.2/ Internationale mobiliteit 

De NVAO tracht, naast de wederzijdse erkenning, ook een 
bijdrage te leveren aan de internationale mobiliteit door 
instrumenten als het bijzonder kenmerk internationalisering. 
Instellingen kunnen zich hiermee, zowel op opleidings- als op 
instellingsniveau, internationaal profileren, en hun internatio- 
naliserings- en mobiliteitsbeleid vanuit kwaliteitsoogpunt 
door externe deskundigen tegen het licht laten houden. 
De NVAO heeft samen met ECA het initiatief genomen om op 
basis van de NVAO ervaringen te werken aan een Europees 
internationaliseringscertificaat. 



6.2.3/ Wederzijdse erkenning van diploma's 

Nederland en Vlaanderen hebben op 16januari 2013 als eerste 
regio's in Europa afgesproken eikaars diploma's wederzijds te 
erkennen: beide ministers hebben een aanpassing van het 
verdragondertekend.Het'protocoltotwijzigingvanhetVerdrag 
tussen het Koninkrijk der Nederlanden en de Vlaamse 
Gemeenschap van België inzake de accreditatie van oplei- 
dingen binnen het Nederlandse en Vlaamse hoger onderwijs' 
regelt nu ook de erkenning van diploma's in het hoger onderwijs. 
De wijziging van het Verdrag regelt de academische weder- 
zijdse gelijkstelling van bachelor- en masteropleidingen. 
Tevens wordt de werking van het Accreditatieverdrag uitge- 
breid tot het Caribische deel van Nederland, zodat de NVAO 
ook opleidingen op Bonaire, Sint Eustatius en Saba kan 
toetsen. 

De NVAO is betrokken bij de Europese beleidsdiscussies over 
wederzijdse dan wel automatische erkenning van diploma's in 
Europa. Dit onderwerp stond centraal tijdens een door de 
NVAO in januari 2013 georganiseerd ECA seminar met verte- 
genwoordigers van de Europese Commissie, Bologna Follow 
Up Group, de Europese verenigingen van universiteiten, hoge- 
scholen en studenten, erkenningsautoriteiten, en Europese 
accreditatieorganisaties. De aanwezigen hadden een duide- 
lijke voorkeur voor wederzijdse erkenning van diploma's, 
waarbij automatische erkenning voor sommigen het einddoel 
was. Met betrekking tot de erkenning van joint degrees heeft 
de NVAO in het kader van het ECA project JOQAR twee 
bijeenkomsten georganiseerd met meer dan 20 erkennings- 
autoriteiten. Dit heeft geleid tot richtlijnen voor erkennings- 
autoriteiten bij het erkennen van deze diploma's en richtlijnen 
voor instellingen bij het uitreiken van diploma's en opstellen 
van diplomasupplementen van joint degrees. 

De NVAO concludeert op basis van de hier gepresenteerde 
resultaten dat het Nederlandse accreditatiestelsel inter- 
nationaal geaccepteerd is. 

6.3 / Focus op kwaliteit 

De inhoud van het onderwijs - in plaats van processen en 
randvoorwaarden - dient bij kwaliteitsbeoordeling centraal te 
staan. De resultaten van de opleiding moeten meer nadruk 
krijgen in het accreditatiekader. Dat betekent dat de peer 
review meer gericht wordt op de inhoud, en daarmee het 
deskundigenoordeel, het 'timmermansoog', alle ruimte krijgt. 
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Hierdoor moet een betere balans tussen verantwoording en 
verbetering ontstaan. In het nieuwe accreditatiestelsel zullen 
verschillen in kwaliteit (boven het basisniveau uitstijgend) 
zichtbaar worden gemaakt. 25 

Het onderzoek onder docenten in het hoger onderwijs wijst 
uit dat de nieuwe manier van beoordelen in de beperkte 
opleidingsbeoordeling meer gericht is op de kwaliteit van het 
onderwijs dan vroeger. Wel vinden de docenten dat er nog 
meer aandacht mag komen voor verbetering van het onder- 
wijs. Ook bij het 'gerealiseerd niveau' is het beeld dat een flinke 
groep docenten hier meer of veel meer aandacht voor wil. 

De inspectie schrijft in haar evaluatie dat in de beoordelings- 
kaders meer ruimte gemaakt zou moeten worden voor de 
beoordeling van de didactische kwaliteiten van docenten in de 
praktijk, de borging van het werkplekleren en rendementen. 
De inspectie signaleert een risico dat het stelsel onvoldoende 
beoordeelt wat er in de samenleving verwacht wordt, met alle 
risico's voor het maatschappelijk draagvlak voor het stelsel. 
In het accreditatieproces wordt echter wel gekeken naar de 
didactische vaardigheden van docenten, het leren in de 
beroepspraktijk, de wettelijke vereisten betreffende omvang 
en duur van het programma en studiesucces. De inspectie 
heeft bij haar onderzoek in dit geval slechts vier van de meer 
dan 400 beoordeelde opleidingen betrokken en heeft daarmee 
beperkt zicht gekregen op de beoordelingspraktijk van deze 
specifieke aspecten. 

De NVAO heeft in 201 2 standaarddefinities voor kengetallen 
opgesteld die moeten worden gebruikt bij de visitatie van 
opleidingen. De NVAO vraagt opleidingen bij een accreditatie- 
aanvraag gegevens te leveren over een aantal indicatoren 
zoals uitval, rendement, docentkwaliteit, student-docentratio 
en contacttijd. Visitatiepanels krijgen zo concrete handvatten 
om met opleidingen het gesprek te voeren over studiesucces 
en de kwaliteit van docenten. Personeelsbeleid en de didac- 
tische scholing van docenten is ook altijd aan de orde, in of de 
instellingstoets kwaliteitszorg, of de uitgebreide opleidings- 
beoordeling. In de memorie van toelichting bij het wets- 
voorstel 'versterking kwaliteitswaarborgen hoger onderwijs' 
is opgenomen dat visitatiepanels verplicht 'in de klas' gaan 
kijken. De NVAO zal de beoordelingskaders hierop aanpassen 
zodat de nu bestaande mogelijkheid wordt veranderd in een 
verplicht lesbezoek. 



25> Memorie van Toelichting bij de wijziging van de WHW in verband met aan- 
passingvan het accreditatiestelsel (Kamerstukken II 2009/10,32 210), nr. 3. 



Daarnaast constateert de inspectie dat bij het bepalen van 
het eindniveau momenteel te eenzijdig naar de eindwerken 
wordt gekeken. De NVAO heeft de handreiking voor de beoor- 
delingvan eindwerkstukken voor visitatiepanels in 201 2 
aangepast om zo te verduidelijken dat bij het beoordelen 
van het eindniveau niet alleen de eindscripties van belang zijn. 
Zo stelt de NVAO in deze richtlijn dat: Elke opleiding wordt 
verondersteld te beoordelen of de student de beoogde eind- 
kwalificaties heeft behaald. Niet alleen richting de student, 
maar ook extern - bijvoorbeeld richting visitatiecommissie of 
beoordelingspanel - is het zaak dat deze beoordeling op een 
transparante manier gebeurt. De klassieke eind proeve is van 
oudsher de afsluitende afstudeerscriptie als proeve van 
bekwaamheid waarin alle vereiste kennis, vaardigheden en 
attitudes samenkomen. Inmiddels zijn er daarnaast ook 
andere vormen ontstaan waarmee een opleiding nagaat of 
het geheel van beoogde eindkwalificaties is gerealiseerd, 
zoals het (afstudeer)portfolio of een andere verzameling van 
afzonderlijke toetsmomenten. 

Het panel maakt in zijn beoordelingsrapport duidelijk met 
welk(e) product(en), toetsen of beoordelingen de opleiding het 
behalen van de eindkwalificaties / competenties toetsten 
baseert zich daarbij op de zelfstudie van de opleiding. Vervolgens 
beschrijft het panel of de opleiding daarin is geslaagd door een 
oordeel te geven over het niveau en de kwaliteit van de verschil- 
lende 'toetsproducten' (inclusief het eindwerk) in relatie tot de 
beoogde eindkwalificaties. Verschillen kunnen daarin optreden 
per domein en per oriëntatie. Als voorbeeld: een opleiding in de 
Kunsten zal gebruik maken van andersoortige producten of 
prestaties dan een opleiding Bedrijfseconomie en een hbo- 
opleiding zal hierin verschillen van een wo-opleiding. 
Deze richtlijn bedoelt duidelijke afspraken mee te geven waar- 
over geen misverstand kan bestaan. Dat laat echter onverlet 
dat panels ook enige vrijheid hebben om naar eigen inzicht, 
maar wel volledig in de geest van deze afspraken, te handelen. 

De NVAO maakt zich evenals de inspectie zorgen over de soms 
te sterke focus van visitatiecommissies op de eindwerkstukken. 
De aanpassing van de hierboven geciteerde leidraad mag daar 
een voorbeeld van zijn. De NVAO zal de komende periode in het 
overleg met evaluatiebureaus en externe secretarissen bena- 
drukken dat het gerealiseerde niveau veelal niet alleen af te 
meten is aan het niveau van de eindscripties. In de komende 
wetgeving wordt de standaard over toetsing en gerealiseerde 
eindkwalificaties gesplitst in twee aparte standaarden. De 
NVAO zal deze verandering aangrijpen om opnieuw het beleid 
rond het beoordelen van gerealiseerde eindkwalificaties onder 
de aandacht te brengen. 
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De Algemene Rekenkamer concludeert in haar rapportage dat 
panels zichtbaar meer afstudeerwerken (her)beoordelen om 
het gerealiseerde eindniveau te kunnen vaststellen dan voor- 
heen. Zij stelt daarbij dat bij hbo-opleidingen de aandacht 
voor de schriftelijke afstudeerwerken als te beperkt wordt 
ervaren; voor praktisch georiënteerde hbo-opleidingen spelen 
vaardigheden immers ook een belangrijke rol. 

Voorts stelt de Algemene Rekenkamer in haar rapportage vast 
dat het nieuwe stelsel meer ruimte biedt voor een inhoudelijke 
benadering, maar dat de beperking van het aantal standaarden 
ook kan leiden tot een vervlakking van het oordeel. 
Zij verwacht dat de voorgenomen splitsing van de standaard 
'toetsing en gerealiseerde eindkwalificaties' kan bijdragen 
aan de betrouwbaarheid van de beoordeling. De NVAO onder- 
schrijft deze inschatting. 

6.3.1 / Verschillen in kwaliteit zichtbaar gemaakt 

De gedifferentieerde kwaliteitsoordelen van de NVAO worden 
gebruikt om het informatiebestand voor studievoorlichting te 
verrijken en kwaliteitsverschillen onder de aandacht van een 
breder publiek te brengen. Goede studievoorlichting, waarin 
ook kwaliteitsverschillen zichtbaar zijn, bevordert dat 
studenten en werkgevers hun keuzes meer laten leiden door 
kwaliteit; dat daagt instellingen uit om zich in te zetten voor 
kwaliteitsverbetering. De NVAO publiceert op haar website 
overzichten van de beoordelingen goed, excellent, positief 
onder voorwaarden en negatief met een herstelperiode. 
Ook levert zij gegevens (panelscores) voor vergelijkingsgidsen 
als de Keuzegids en Studiekeuzei 23. 

De beoordelingen leveren echter nog niet een sterk gedifferen- 
tieerd beeld op. Uit de analyse in hoofdstuk 3 van de scores 
die visitatiepanels toekennen, blijkt dat de spreiding van de 
oordelen beperkt is. Zo zien we dat bij de beperkte opleidings- 
beoordeling meer dan 4/5 van de opleidingen (81 procent) als 
eindoordeel voldoende heeft. Het percentage opleidingen dat 
als goed beoordeeld wordt ligt op 1 4 procent. In 3 procent van 
de opleidingen beoordeeld met het BOB-kader is het eindoor- 
deel onvoldoende. Hetzelfde percentage geldt voor opleidingen 
met als eindoordeel excellent. Bij de uitgebreide opleidingsbe- 
oordeling wordt bij het eindoordeel nog niet de hele schaal 
gebruikt: er zijn geen opleidingen die als eindoordeel excellent 
hebben. 3 procent van de opleidingen heeft als eindoordeel 
onvoldoende, 1 4 procent goed. De piek ligt ook hier bij het eind- 
oordeel voldoende (84 procent). 



Figuur 6.1 

Verdeling eindoordeel beperkte opleidingsbeoordeling 
(N = 439,t/m 10 juli 2013) 
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Figuur 6.2 

Verdeling eindoordeel uitgebreide 
opleidingsbeoordeling (N=11 6, t/m 10 juli 2013) 
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Dat de piek bij het eindoordeel 'voldoende' ligt, is op zich 
logisch: de score voldoende reflecteert een basiskwaliteit 
waaraan een opleiding minimaal dient te voldoen. Om tot een 
eindoordeel 'goed'te komen, dient de opleiding op een 
minimum aantal standaarden systematisch en over de volle 
breedte boven deze basiskwaliteit uitte stijgen. Deze stap 
blijkt in het beoordelen dus groot. 

De toegankelijkheid van de besluiten van de NVAO op de eigen 
website dient te worden verbeterd. Zowel de inspectie als de 
commissie van ENQA waren kritisch over de toegankelijkheid 
van de database. De NVAO onderschrijft deze kritiek en zal de 
toegankelijkheid van de database verbeteren. 

De NVAO concludeert op basis van de hier gepresenteerde 
resultaten dat de nadruk bij de beoordeling van opleidingen 
inderdaad sterker is komen te liggen bij het hart van de onder- 
wijskwaliteit. In samenwerking met alle betrokkenen wil 
de NVAO de kwaliteitsverbetering en de kwaliteitscultuur 
stimuleren via systeembrede en thematische analyses. 

6.4 /Bevorderen van een 
kwaliteitscultuur 

Het stelsel moet uitnodigen tot de ontwikkeling van visie en 
beleid ten aanzien van de kwaliteit van het onderwijs. Daar 
hoort bij dat accreditatie meer dan in het huidige stelsel gericht 
is op het verbeteren van de kwaliteit. Een adequaat verbeter- 
beleid moet onderdeel zijn van de interne kwaliteitszorg. 
Daarbij wordt rekening gehouden met verschillen tussen 
instellingen. 26 

Een meerderheid van de ondervraagde docenten (53 procent) 
uit het onderzoek van ResearchNed vindt dat de visitatie 
'nieuwe stijl' evenveel of zelfs meer bijdraagt aan de onder- 
wijskwaliteit en bijna de helft van de docenten (46 procent) 
vindt dat de nieuwe visitatie meer gericht is op de inhoud 
van het onderwijs. De conclusies uit het onderzoek van 
ResearchNed zijn dan ook positief te noemen. De onder- 
vraagde docenten beschouwen de BOB als stimulerend en 
niet bedreigend en zij beschouwen deze ook als een verbete- 
ring ten opzichte van de oude werkwijze. Een ruime meerder- 
heid van de docenten (67 procent) vindt de inhoud van het 
eindrapport (zeer) goed herkenbaar, 64 procent vindt het eind- 

26> Memorie van Toelichting bij de wijziging van de WHW in verband met aan- 
passing van het accreditatiestelsel (Kamerstukken II 2009/10, 32 210), nr. 3. 



rapport (zeer) goed bruikbaar, 68 procent vindt het eindrap- 
port (zeer) kritisch en 57 procent vindt het rapport goed tot 
zeer goed leesbaar. 

De voorzitters van de auditcommissies die de instellingstoets 
kwaliteitszorg uitvoeren, concludeerden dat naar hun ervaring 
de ITK een belangrijk positief effect heeft op de kwaliteitscul- 
tuur binnen instellingen. De toets is zeker geen 'kunstje' en er 
is sprake van verscherpte aandacht bij de betrokken instel- 
lingen. Duidelijk waarneembaar is dat de toets het gemeen- 
schapsgevoel binnen een instelling in positieve zin beïnvloedt. 
Het belang van de voorbereiding op de toets, via het schrijven 
van de kritische reflectie en de uitvoering van een proefaudit, 
wordt daarbij genoemd als een factor die mede bepalend is 
voor het succes van de toets. 

De NVAO stelt vast dat het proces voorafgaande aan het 
bezoek als zeer belangrijk moeten worden beoordeeld. In de 
voorbereiding op de audit wordt door de meeste instellingen 
enorm veel werk verzet. Het hele systeem van beleidsvoor- 
bereiding, uitvoering en evaluatie wordt goed doorgelicht en 
voordat de commissie op bezoek komt, worden de punten op 
de i gezet. 

Bovenstaande bevindingen sluiten aan bij de conclusies van 
de inspectie in haar onderzoek naar het functioneren van het 
accreditatiestelsel. De inspectie concludeerde dat het stelsel 
goed aanzet tot verbetering: 'De beoordelingen stimuleren 
instellingen en opleidingen goed tot verbetering van de kwali- 
teit dan wel de kwaliteitszorg'. In haar inleiding bij de evalu- 
atie van het accreditatiestelsel concludeert de inspectie dat 
het accreditatiestelsel: 'een krachtig, breed gedragen stelsel 
[is] met een duidelijk kwaliteitsbevorderend effect'. 27 
Ook ENQA kwam in 201 2 tot een vergelijkbare conclusie: 
'Generally, the impression of the Panel is that the new system 
in the Netherlands and not least the inclusion of institutional 
audits and the possibility for granting a recovery period do 
indeed promote more focus on quality improvement and 
enhancementthan the previous system d i d '. 28 

De inspectie concludeert tevens in haar onderzoek naar de 
kwaliteit van het accreditatiestelsel dat ook de instellings- 
toets kwaliteitszorg bijdraagt aan 'meer betrokkenheid van 
het bestuur bij de kwaliteit, meer sturing op kwaliteit en 
scherpere bewaking [van de kwaliteit]'. 29 

27> Inspectie, De kwaliteit van het Nederlandse accreditatiestelsel, p. 7. 

28> ENQA, Report of the Panel of the external review of the NVAO (2012), p. 20. 

29> Inspectie, De kwaliteit van het Nederlandse accreditatiestelsel, p. 57. 
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De inspectie concludeerde dat het stelsel goed aanzet tot 
verbetering: 'de beoordelingen stimuleren instellingen en 
opleidingen goed tot verbetering van de kwaliteit dan wel de 
kwaliteitszorg'. 

De betrokkenen hebben het gehele beoordelingsproces in grote 
meerderheid als stimulerend ervaren. Van alle onderdelen van 
het proces blijkt het grootste stimulerend effect te komen van 
de eigen voorbereidingen, waarbij dit niet los gezien kan worden 
van het uiteindelijke publieke oordeel als stok achter de deur. 
Het effect bestaat er volgens de betrokkenen zelf uit dat er 
scherpere doelen zijn gesteld, er vaak verbetermaatregelen 
genomen zijn of een al lopend verbeterproces is versneld. 
Vier op de tien van de ondervraagde betrokkenen ziet een 
kwaliteitsverhoging van de opleiding. Volgens een kleine meer- 
derheid is er een groter kwaliteitsbewustzijn bij het team. 30 

De NVAO voert ook zogenoemde systeembrede analyses uit 
en zet daarbij in op kwaliteitsverbetering in samenwerking 
met de opleidingen en de sector. De NVAO gebruikt daarvoor 
de informatie die ze sinds 2003 heeft verzameld over 
de kwaliteit van het hoger onderwijs in Nederland en 
Vlaanderen. Er zijn op dit vlak inmiddels negen rapporten 
verschenen over bijvoorbeeld de lerarenopleidingen, het 
kunstvakonderwijs en de onderzoeksmasters. 

De hier gepresenteerde resultaten wijzen erop dat het nieuwe 
stelsel een belangrijk kwaliteitsbevorderend effect heeft in 
het hoger onderwijs. Een volledige uitrol van het stelsel is 
echter nodig om de resultaten ten gronde en in hun samen- 
hang te kunnen evalueren en beoordelen. 

6.5 / Kwaliteitszorg 'op maat' 

Het Nederlandse hoger onderwijs heeft in het algemeen 
inmiddels zo'n 20 jaar ervaring met externe kwaliteitszorg, 
eerst door middel van het visitatiestelsel, later door middel van 
het accreditatiestelsel. Op grond van deze langjarige ervaring 
die instellingen hebben met externe kwaliteitsborging en nadat 
in de eerste ronde van accreditatie is vastgesteld dat alle oplei- 
dingen nu aan de basiskwaliteit voldoen, is het goed mogelijk 
een meer proportionele benadering van de kwaliteitszorg toe 
te passen. Waar vertrouwen is, moet een beperkte vorm van 
kwaliteitszorg mogelijk zijn; waar het vertrouwen ontbreekt, 
moet effectief een zwaar instrumentarium worden ingezet. 
De huidige instrumenten van de NVAO - accreditatie en toets 

30> Inspectie, De kwaliteit van het Nederlandse accreditatiesteisel, p. 41. 



nieuwe opleiding - zijn bij wet strikt geregeld. Een meer flexibel 
en verfijnd instrumentarium is wenselijk, zoals bijvoorbeeld een 
effectievere herstelperiode. Maar aan de andere kant moet de 
wet het ook mogelijk maken om ondermaats onderwijs snel en 
effectief te kunnen beëindigen wanneer er geen zicht meer is 
op verbetering. 3 ' 1 

De NVAO onderschrijft de wens voor een meer flexibel en 
verfijn instrumentarium. In de deze paragraaf geeft de NVAO 
hier invulling aan. 

Herstelperiode en voorwaarden 
Uit de in hoofdstuk 3 gepresenteerde overzichten blijkt 
dat de mogelijkheid van herstel voor opleidingen leidt tot 
scherpere oordelen. De herstelperiode oogt misschien als een 
versoepeling, maar heeft - zoals de NVAO ook heeft verwacht - 
juist geleid tot scherpere beoordelingen. De panels hebben 
minder schroom om onvoldoendes of herstel te adviseren. 
De NVAO kan haar oordeel beter beargumenteren, hoeft 
minder aanvullende vragen te stellen en voert nauwelijks nog 
verificatiebeoordelingen uit. 

De instellingen die te maken kregen met scherpere oordelen, 
maken serieus werk van de benodigde verbeteringen. Om de 
veranderingen goed te borgen, heeft de NVAO een aantal 
hersteltrajecten ingesteld. De tussentijdse beoordelingen bij 
de desbetreffende opleidingen bieden vertrouwen; uit de eind- 
beoordelingen moet blijken of het herstel daadwerkelijk is 
bereikt. 

Een herstelperiode is eerst mogelijk na een negatiefoordeel 
over een van de te beoordelen standaarden. Ten grondslag aan 
de beslissing tot toekennen van de herstelperiode, ligt een 
door de opleiding opgesteld herstelplan. Een opleiding die in 
aanmerking wil komen voor herstel moet dit plan laten beoor- 
delen door een commissie van deskundigen. De NVAO neemt 
vervolgens een besluit over het al dan niet toekennen van het 
herstel op basis van het negatieve visitatierapport in combi- 
natie met het herstelplan en het oordeel van een deskundi- 
genpanel over dit plan. Een aandachtspunt zijn de termijnen 
die de wet en het Accreditatiebesluit 32 stellen wanneer voor- 
waarden aan het oordeel worden gesteld; zowel bij accredi- 
tatie, als ook bij de instellingstoets; 

31 > Memorie van Toelichting bij de wijziging van de WHW in verband met aan- 
passingvan het accreditatiestelsel (Kamerstukken II 2009/10, 32 210), nr. 3. 

32> De AMvB waarin nadere regels zijn opgenomen ten aanzien van de 
herstelperiode en voorwaardelijke besluiten. Accreditatiebesluit WHW 
(Stb. 201 1,536). 
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> Bij een ITK onder voorwaarden moet de instelling binnen het 
jaar met een positief commissie-oordeel aantonen dat aan 
de gestelde voorwaarden is voldaan en dat is een erg korte 
periode. 

> Voor accreditaties geldt dat wanneer een herstelperiode 
wordt toegekend naar aanleiding van een oordeel'onvol- 
doende' op standaard 3 de herstelperiode formeel maximaal 
een jaar is maar door de wet beperkt wordt tot een half 
jaar, aangezien instellingen een half jaar voor afloop van de 
herstelperiode opnieuw accreditatie moeten aanvragen. Dit 
is een te korte periode voor opleidingen om daadwerkelijk 
een substantiële verbetering te kunnen aantonen. 

Inmiddels constateert de NVAO dus dat een herstelperiode 
van één jaar soms te kort is om te kunnen beoordelen of de 
maatregelen geëffectueerd zijn en het gewenste resultaat 
hebben opgeleverd. 

Intrekken van accreditatie, TNO of ITK 
Zoals in hoofdstuk 2.4 beschreven, is met de invoering van het 
nieuwe accreditatiestelsel ook de mogelijkheid geïntroduceerd 
dat een besluit tot het verlenen van accreditatie, toets nieuwe 
opleiding of instellingstoets kwaliteitszorg wordt ingetrokken. 
Sinds de invoering van het nieuwe accreditatiestelsel is voor vijf 
opleidingen, telkens op initiatief van de NVAO, de zogeheten 
intrekkingsprocedure gestart. In deze procedure wordt tussen- 
tijds beoordeeld of de desbetreffende opleiding nog steeds 
voldoet aan de eisen die gelden voor het verlenen van accredi- 
tatie. In drie gevallen heeft de NVAO de bewindspersoon 
geadviseerd de accreditatie c.q. toets nieuwe opleiding niet in 
te trekken. Twee andere opleidingen bleken van onvoldoende 
kwaliteit maar toonden wel zicht op verbetering. De NVAO 
heeft geadviseerd een verbeterperiode toe te kennen waarna 
alsnog zou moeten worden aangetoond dat de opleidingen 
voldoen aan de eisen van basiskwaliteit. De bewindspersoon 
heeft in alle gevallen het advies van de NVAO opgevolgd. Alle 
intrekkingsonderzoeken betroffen opleidingen; er is geen 
procedure geweest gericht op intrekking van een instellings- 
toets. 

De NVAO ontleent zijn oordeel over de kwaliteit van de opleiding 
aan een panel van onafhankelijke deskundigen. Vanwege de 
verstrekkende gevolgen van een eventueel intrekkingsbesluit, 
is de werkwijze van dit panel en de bestuurlijke hantering van 
het paneloordeel met veel (wettelijke) waarborgen omkleed. 

In het accreditatiestelsel heeft de NVAO de bevoegdheid om 
besluiten te nemen tot het verlenen en verlengen van accredi- 
tatie, toets nieuwe opleiding of instellingstoets, maar niet de 



bevoegdheid tot het intrekken daarvan. Die ligt bij de Minister. 
Beide type besluiten (verlenen of intrekken) worden genomen 
na beoordeling van een opleidingof instellingen op dezelfde 
criteria. De vraagt rijst daarom of de bevoegdheid tot het 
intrekken van een besluit - uiteraard met behoud van de 
gevraagde zorgvuldigheid - niet eveneens bij de NVAO zou 
moeten worden belegd. 

Op dit moment kan de NVAO alleen een onderzoek naar een 
opleiding starten op verzoek van de minister. De minister stelt 
echter in de Nota van Wijziging bij de wet 'versterking kwali- 
teitswaarborgen hoger onderwijs' dat de NVAO verantwoordelijk 
is voor het beoordelen van de kwaliteit van het hoger onder- 
wijs. 33 Het is daarom wenselijk dat de NVAO, bij signalen ten 
aanzien van de kwaliteit van een opleiding, ook uit eigen 
beweging onderzoek kan doen. 

Na intrekking van het besluit tot het verlenen van accreditatie 
of toets nieuwe opleiding zal de betreffende opleiding in 
afbouw gaan (art. 5a.1 2b lid 3 in verbinding met art. 5a.1 2 
WHW). Dat houdt in dat de rechten aan de opleiding vervallen 
en studenten de gelegenheid wordt geboden de opleiding te 
voltooien aan een andere instelling. Voor de studenten voor wie 
dat onverhoopt niet mogelijk is, wordt de opleiding aan de 
instelling voortgezet. Op basis van de zorgplicht van instel- 
lingen kunnen zij nog gedurende het restant van de nominale 
studieduur plus één jaar een erkende graad behalen, terwijl 
de accreditatie is vervallen. Het is echter (in het algemeen) 
onwenselijk dat studenten na het vervallen van de accreditatie 
nog een erkende graad van die opleiding kunnen ontvangen. 
Die graad c.q. het diploma heeft immers niet de waarde die 
studenten/afgestudeerden in het bijzonder en de maatschappij 
in het algemeen ervan mogen verwachten. Het is daarom 
terecht dat er in de eerste plaats wordt gezocht moet worden 
naar een mogelijkheid studenten elders onderte brengen. In 
gevallen waarin overplaatsing van studenten niet tot de moge- 
lijkheden behoort en de opleiding dus nog enige tijd wordt 
gecontinueerd, ligt het voor de hand dat de NVAO de bevoegd- 
heid heeft aanvullende eisen te stellen en afspraken te maken. 

Bestuurlijke afspraken 

De NVAO kiest er voor om in bepaalde gevallen bestuurlijke 
afspraken te maken met instellingen. Bestuurlijke afspraken 
maakt de NVAO met instellingen in die gevallen dat een nega- 
tief oordeel, een herstelperiode of een oordeel onder voor- 
waarden niet in de rede ligt, maar er toch voldoende redenen 

33> Nota van wijziging bij de wet versterking kwaliteitswaarborgen hoger 
onderwijs (Kamerstukken II 2012/13, 33 472). 
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zijn om de vinger aan de pols te houden. De bestuurlijke 
afspraken worden opgenomen in de besluiten van de NVAO, 
en samen met de bijbehorende besluiten en rapporten 
gepubliceerd op de website van de NVAO. Uiteraard past 
terughoudendheid bij het maken van deze afspraken, zeker bij 
instellingen die inmiddels een instellingstoets kwaliteitszorg 
met een positief oordeel hebben afgerond. Om daadwerkelijke 
opvolgingte kunnen geven of consequenties te kunnen 
verbinden aan de gemaakte afspraken, is het wenselijk dit 
instrument wettelijk te verankeren. 

De NVAO concludeert op basis van de hier gepresenteerde 
resultaten dat meer maatwerk in het stelsel mogelijk is 
geworden, wat niet wegneemt dat verdere flexibilisering en 
verfijning aangewezen is. In de aanbevelingen wordt aange- 
geven wat de NVAO hier concreet voor ogen heeft. 

6.6 /Administratieve lasten 

De mogelijkheid van een beperkt regime voor accreditatie en 
toets nieuwe opleiding vermindert de last voor de instellingen 
en de professionals. Aspecten van kwaliteit die op instellings- 
niveau kunnen worden beoordeeld, zullen worden onder- 
scheiden van kwaliteitsaspecten die op opleidingsniveau 
moeten worden beoordeeld. Zo hoeft in het lichte regime niet 
langer iedere opleiding afzonderlijk aan te tonen dat bijvoor- 
beeld het personeelsbeleid en de onderwijsvoorzieningen 
voldoende zijn. Anderzijds zullen de instellingen moeten inves- 
teren in de eigen interne kwaliteitszorg. De verbetering van de 
interne kwaliteitscultuur vraagt commitment en energie van 
bestuurders en professionals. 3 '' 

De Algemene Rekenkamer concludeert dat er nog geen 
aanwijzingen zijn dat de administratieve lasten zijn vermin- 
derd. Zij concludeert ook dat deze vermindering lastig te 
realiseren valt en dat het nieuwe wetsvoorstel deze naar 
alle waarschijnlijkheid ook niet zal verminderen. 

Bij het realiseren van een substantiële lastenverlichting hangt 
veel af van de wijze waarop accreditatie wordt uitgevoerd. 
De uitkomsten van de pilots boden al veel aanknopingspunten 
om lastenvermindering te realiseren, maar gaven ook 
aanleiding tot zorgen op dit vlak. Op basis van de ervaringen 
in de pilots: 



> is de informatie die voor accreditatie of de instellingstoets 
nodig is scherp omschreven en tot het strikt noodzakelijke 
beperkt. Dat geldt ook voor de hoeveelheid aan te leveren 
informatie bij de zelfstudie voor de beperkte opleidings- 
beoordeling. 

> zijn de kaders voor de beperkte opleidingsbeoordeling 
inderdaad zodanig herschreven dat het opstellen van een 
zelfstudie substantieel minder tijd kost dan in het huidige 
stelsel. 

> komt de eigen verantwoordelijkheid van de instelling voor de 
kwaliteitszorg tot uitdrukking in de eigen verantwoordelijk- 
heid bij het samenstellen van een visitatiepanel voor de 
beoordeling van opleidingen. Dit maakt het mogelijk dat de 
beoordeling door de commissie beter aansluit op de interne 
kwaliteitszorg van de instelling waardoor de 
verbeterfunctie wordt versterkt. 

> worden de secretarissen van de visitatiepanels getraind 
in het omgaan met de nieuwe, beperkte systematiek, 
vooral ook om te voorkomen dat zij niet in de 'oude praktijk' 
vervallen. Uit de pilots is gebleken dat dit geen overbodige 
luxe is. 

De beperkte opleidingsbeoordeling moet op het niveau van 
de opleiding leiden tot een vermindering van de lasten. Er is 
echter binnen het systeem ook sprake van twee nieuwe 
toetsen. De instellingstoets, die in het Nederlandse stelsel 
onlosmakelijk verbonden is aan de beperkte opleidings- 
beoordeling, en de toetsing van visitatiecommissies vooraf- 
gaande aan de visitatie. 

De beheersing van de administratieve lasten heeft bij het 
ontwerp van het accreditatiestel bijzonder veel aandacht 
gekregen. De pilots met het nieuwe systeem in 2008 en 2009 
hebben verschillende extra maatregelen opgeleverd die ertoe 
moesten leiden dat de lasten werden beperkt. Het is niettemin 
evident dat de vermindering van de administratieve lasten 
niet overal wordt gerealiseerd. 

Het onderzoek van ResearchNed onder docenten van oplei- 
dingen die in 201 1 en 201 2 werden gevisiteerd aan de hand 
van het nieuwe beperkte kader geeft wel reden tot voorzichtig 
optimisme. De groep respondenten (zowel met als zonder 
eerdere visitatie-ervaring) die vindt dat de beperkte opleidings- 
beoordeling leidt tot een verlaging van de accreditatielast is 
iets groter dan de groep die het hiermee oneens is. 



34> Memorie van Toelichting bij de wijziging van de WHW in verband met 

aanpassing van het accreditatiestelsel (Kamerstukken II 2009/10, 32 210), 
nr. 3. 
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De inspectie concludeert ten aanzien van dit vraagstuk dat: 
Een groot deel van de lasten komt niet zozeer voort uit wat de 
beoordelingskaders aan verantwoording en voorbereiding 
vragen, dat is namelijk alleszins redelijk. De lasten komen 
vooral voort uit wat instellingen zelf, daartoe mede geprikkeld 
door externe ontwikkelingen (incidenten met persaandacht, 
prestatieafspraken, interne borging) en door de zware gevolgen 
van een negatief besluit, aan documentaire en informatieve 
zekerheden zoeken. Ondanks dat de oorzaken van deze lasten 
deels elders liggen, en de lasten subjectief beoordeeld zijn, 
kleven ze nu wel aan elke externe beoordeling, dus ook aan het 
accreditatiestelsel. 35 

De inspectie 36 wijst een aantal autonome ontwikkelingen aan 
dat in de perceptie van instellingen bijdraagt aan de verant- 
woordingslasten waar de overheid en de samenleving om 
vragen: 

> Investering in de interne kwaliteitszorg en het interne 
toezicht, mede gestimuleerd door de instellingstoets, 
veroorzaakt meer interne sturings- en verantwoordings- 
documenten en informatiestromen. 

> De prestatieafspraken leiden tot extra interne mechanismen 
van sturing en verantwoording op de afgesproken prestaties. 

> Recente kwaliteitsperikelen, waaronder het onderzoek van de 
inspectie en de NVAO naar alternatieve afstudeertrajecten, 
leiden tot de roep om extra interne waarborgen en zeker- 
heden, bijvoorbeeld rond de examenprocedures en regelingen. 

> Het gevoel dat de inspectie veel procedurele en juridische 
waarborgen vraagt. Zo zagen we een opleiding waar de OER 
inmiddels uit 320 pagina's bestaat met het interne beeld dat 
dit allemaal van de inspectie moet. 

> Er heerst een zekere angst voor incidenten met alle publici- 
taire gevolgen van dien. Men wil zich daarom zo veel mogelijk 
indekken en het zekere - nog meer documentatie - voor het 
onzekere nemen. 

> De voorafschaduwing van het meewegen van accreditatie- 
beoordelingen in prestaties en zelfs bekostiging leidt tot 
meer neiging tot indekken en dus extra lasten. 

Omdat het accreditatiestelsel feitelijk het sluitstuk is van het 
interne toezicht binnen instellingen zelf en voortbouwt op de 
eigen processen en procedures van die instellingen is het ook 
niet goed mogelijk de externe kosten van het systeem exact te 
bepalen. De NVAO onderschrijft deze analyse. 



35> Inspectie, De kwaliteit van het Nederlandse accreditatiestelsel, pp. 47-50. 
36> Ibidem. 



Piekbelasting 

Met de inspectie concludeert de NVAO ook dat de collectieve 
start van het stelsel in 2002 periodieke pieken en dalen 
[heeft] gecreëerd. Dit zorgt bij perioden voor belangrijke 
opeenhopingen van beoordelingen, ook wel stuwmeren 
genoemd. Ook de veelvoorkomende accreditatiedatum van 
1 januari draagt daar aan bij. In de piekperiodes geeft dit extra 
veel belasting, niet alleen voor de evaluatiebureaus en het 
reservoir aan panelleden, maar ook bij de instellingen en bij de 
NVAO zelf. Met name bij universiteiten wordt eind 2013 een 
piek verwacht vanwege de vervaldatum van accreditatie- 
termijnen van veel opleidingen. 

In 2013 verloopt de accreditatie van circa zeshonderd oplei- 
dingen, waaronder vierhonderd in het wo, in 201 4 verloopt de 
accreditatie van circa achthonderd opleidingen waaronder 
vijfhonderd in het wo. 37 Aanpassing van accreditatietermijnen 
(zes jaar) behoort niet tot de bevoegdheden van de NVAO. 

De Algemene Rekenkamer concludeert dat de doorlooptijd van 
accreditatieaanvragen bij de NVAO gemiddeld een halfjaar 
bedraagt. Hoewel deze doorlooptijd is gedaald, is dit nog 
steeds aan de hoge kant. De Algemene Rekenkamer vindt dat 
de NVAO de doorlooptijd beter moet beheersen, een herziening 
van de accreditatiekalender kan hier volgens de NVAO 
uitkomst bieden. Deze conclusie werd ook door ENQA gedeeld. 

Bij dit fenomeen moet worden opgeteld dat met de invoering 
van het nieuwe stelsel ook bijna alle bekostigde instellingen 
hebben gekozen voor een versnelde invoering van het 
'beperkte regime' bij de opleidingsbeoordeling. Dit betekende 
dat bijna alle instellingen in deze sector tussen 201 1 en 
201 4 de instellingstoets kwaliteitszorg moe(s)ten ondergaan. 
De NVAO is in dit licht optimistisch dat vanaf 201 4 er wel 
degelijk een duidelijk waarneembare verlichting van de 
administratieve lasten waarneembaar zal zijn. Begin 201 4 
zijn immers nagenoeg alle instellingstoetsen afgerond, 
zullen de instellingen de invoering van de wet 'versterking 
besturing' hebben voltooid en hebben alle instellingen ruime 
ervaring opgedaan met de nieuwe manier van beoordelen. 

Daarnaast moet niet worden onderschat dat synchroon met 
de invoering van het nieuwe stelsel belangrijke kwaliteits- 
problemen in het hbo aan het licht kwamen. Op tal van 
gebieden hebben deze kwaliteitsproblemen geleid tot extra 
maatregelen om de kwaliteit van het onderwijs beter te waar- 
borgen. Daarnaast hebben deze problemen tot de nodige 



37> Inspectie, De kwaliteit van het Nederlandse accreditatiestelsel, pp. 47-50. 
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nervositeit binnen de sector geleid ten aanzien van externe 
beoordelingen en tot extra aandacht vanuit de politiek en de 
samenleving. Tot slot hebben ook de prestatieafspraken de 
afgelopen periode veel nieuw beleid in gang gezet op het 
gebied van de kwaliteit van het onderwijs. Het merendeel van 
de instellingen heeft op instigatie van het kabinet prestatie- 
afspraken gemaakt over bijvoorbeeld rendementen en studie- 
succes. 

Al deze externe factoren leiden binnen instellingen tot een 
verhoogde aandacht voor de kwaliteit van het onderwijs 
waarbij het veelal niet goed mogelijk is te onderscheiden 
welke inspanningen door instellingen vanuit een intrinsieke 
motivatie worden genomen en welke inspanningen puur en 
alleen zijn toe te schrijven aan extern toezicht. De inspan- 
ningen die instellingen zich getroosten om aan de eisen voor 
de instellingstoets kwaliteitszorg te voldoen, zijn bijvoorbeeld 
te karakteriseren als het sluitstuk van het interne toezicht 
binnen een instelling, waarbij het externe onderzoek door de 
NVAO zorgt voor een versnelde uitvoering van noodzakelijke 
maatregelen en een verdere professionalisering van de 
interne kwaliteitszorg binnen een instelling. 

De NVAO concludeert op basis van de hier gepresenteerde 
resultaten dat de administratieve lasten nog niet overtuigend 
zijn afgenomen en dat een meer flexibel instrumentarium 
van nut kan zijn om de lasten verder omlaag te brengen. 
De NVAO doet hiertoe in het volgende hoofdstuk een aantal 
aanbevelingen. 
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Hoofdstuk 7 

Aanbevelingen 



Op basis van de uitkomsten van haar 
eigen evaluatie en de door externe partijen 
uitgevoerde onderzoeken uitgevoerde 
onderzoeken naar het functioneren van het 
nieuwe accreditatiestelsel, komt de NVAO, 
naast de op verschillende plaatsen in het 
rapport genoemde verbetermogelijkheden, 
tot de volgende aanbevelingen aan de 
wetgever en voornemens voor zichzelf. 

7.1 /Aanbevelingen aan de wetgever 

Op basis van de in het rapport beschreven bevindingen en 
genoemde verbetermogelijkheden komt de NVAO tot de 
volgende aanbevelingen aan de wetgever: 

7.1.1 / Onafhankelijkheid van visitatiepanel 

Behoud opdrachtgeverschap van commissies bij de instel- 
lingen: er is geen reden om te twijfelen aan de onafhankelijk- 
heid van de oordelen van visitatiecommissie en het 
verplaatsen van het opdrachtgeverschap naar de NVAO brengt 
een aantal nadelen met zich mee. In de huidige situatie keurt 
de NVAO panelsamenstellingen goed op basis van duidelijke 
en adequate criteria ten aanzien van deskundigheid en onaf- 
hankelijkheid van de commissie. 

7.1.2 / Consistentie in beoordelingen 

Benut clustergewijs visiteren van opleidingen ook voor meer 
spreiding in de accreditatiekalender. Het clustergewijs visi- 
teren zal in de eerste plaats consistentie in beoordelingen van 
visitatiecommissies realiseren, maar kan, bij een herziening 
van de accreditatiekalender, piekbelastingen en daarmee 
accreditatielasten verminderen. 

7.1.3/ Flexibilisering van het instrumentarium 

Herstelperiode en voorwaardelijke goedkeuring 
Stel de duur van de voorwaardelijke goedkeuring bij een ITK 
en de herstelperiode bij accreditatie vast op een periode van 
maximaal twee jaar, ook in geval van een oordeel onvoldoende 
op de standaard 'gerealiseerd niveau'. In sommige gevallen is 
een herstelperiode van één jaar te kort om het effect van 
genomen maatregelen te kunnen beoordelen (geen automa- 
tisme om naar twee jaar over te gaan). 



Bestuurlijke afspraken 

Veranker de bestuurlijke afspraken als instrument in de wet. 
Hierdoor kan goede opvolging worden gegeven aan de 
gemaakte afspraken en krijgen deze een heldere positie in het 
accreditatiestelsel. De NVAO dient terughoudend te zijn bij het 
maken van bestuurlijke afspraken, zeker na een positieve 
instellingstoets. 

Intrekken van besluiten 

Verleen de NVAO de bevoegdheid tot het tussentijds intrekken 
van haar eigen besluit, in overeenstemming met het algemene 
principe dat de bevoegdheid tot het verlenen van accreditatie 
bij de NVAO ligt. 

Onderzoek initiëren 

Verleen de NVAO de bevoegdheid tot het zelfstandig initiëren 
van onderzoek bij negatieve signalen ten aanzien van de 
kwaliteit van een opleiding of instelling. 

Afbouw van opleidingen 

Verleen de NVAO de bevoegdheid om bij opleidingen die in 
afbouw zijn wegens kwaliteitsproblematiek aanvullende eisen 
te stellen en afspraken te maken. De WHW vergt dat een 
instelling in de eerste plaats zoekt naar herplaatsing van 
studenten bij een gelijke opleiding die kwalitatief wel aan de 
maat is, maar in die gevallen waar dit niet tot de mogelijk- 
heden behoort, moet een instelling haar zorgplicht nakomen 
en studenten de opleiding laten afmaken. De NVAO wil hierbij 
eisen aan de kwaliteit van de opleiding kunnen blijven stellen. 
Opleidingen in afbouw moeten niet onttrokken worden aan 
externe kwaliteitsborging, zeker in geval van intrekking van 
accreditatie. 

Beoordeling van bijzondere kenmerken 
Neem een extra criterium op voor de beoordeling van een 
bijzonder kenmerk, namelijk 'relevantie'. De NVAO vindt het 
wenselijk dat instellingen en opleidingen duidelijk kunnen 
aangeven welke bijdrage het bijzonder kenmerk levert aan de 
vergroting en verscherping van de keuzemogelijkheden voor 
studenten of de arbeidsmarkt, en waarom het kenmerk 
anders is dan wat in het reguliere accreditatiekader bij de 
invulling van de verschillende standaarden wordt gevraagd. 
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7.2 / Voornemens NVAO 



Naast de bovengenoemde aanbevelingen, heeft de NVAO voor 
zichzelf de volgende voornemens geformuleerd: 

7.2.1 / Vermindering administratieve lasten 

De NVAO acht de vermindering van administratieve lasten 
zeer van belang en zal daarom actief betrokken zijn bij het 
streven deze lasten te verminderen. 

7.2.2 / Consistentie in beoordelingen 

Trainen voorzitters visitatiecommissies 
De NVAO is voornemens de voorzitters en secretarissen van 
de visitatiecommissies van opleidingen waar nodig te trainen 
en een gezamenlijke kennisbasis te ontwikkelen. Dit zal de 
consistentie in oordelen tussen en binnen domeinen van 
opleidingen ten goede komen. 

Instellingstoets kwaliteitszorg 

Met betrekking tot de instellingstoets kwaliteitszorg is de 

NVAO voornemens een kennisbasis op te stellen. 

Daarnaast zal de NVAO in het kader van haar interne kwali- 
teitszorg nadrukkelijk aandacht aan consistente beoordeling 
blijven schenken. 

7.2.3/ Toegankelijkheid van besluiten 

De NVAO zal de toegankelijkheid van de besluiten op haar 
website (verder) verbeteren. 

7.2.4/ Kwaliteitsversterking 

In samenwerking met alle betrokkenen wil de NVAO de 
kwaliteitsverbetering en de kwaliteitscultuur stimuleren 
via systeembrede en thematische analyses, waarin samen 
de thema's tot verbetering geformuleerd worden. 
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Afkortingen 




BOB Beperkte opleidingsbeoordeling 

B-TNO Beperkte Toets Nieuwe Opleiding 

ESG European Standards and Guidelines for Quality 

Assurance in the European Higher Education Area 
EQAR European Quality Assurance Registerfor Higher 

Education 

ENQA European Association for Quality Assurance in 

Higher Education 
ITK Instellingstoets Kwaliteitszorg 

OER Onderwijs- en examenregeling 

SBA Systeem Brede Analyse 

TNO Toets Nieuwe Opleiding 

UOB Uitgebreide opleidingsbeoordeling 

U-TNO Uitgebreide Toets Nieuwe Opleiding 
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